Stable Diffusion上手路径与常用操作

最新推荐文章于 2025-03-18 10:15:00 发布

Android小安

最新推荐文章于 2025-03-18 10:15:00 发布

阅读量957

点赞数 24

本文链接：https://blog.csdn.net/Coo123_/article/details/143702171

版权

AI绘画SD安装包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

SD上手路径与常用操作

从零快速入手Stable Diffusion webui，通常有以下几个环节：

安装（文末扫码可获取安装包，安装教程看我之前的文章）
选择模型
关键词
扩展/插件安装
ControlNet
模型训练

No.1

选择模型

1. 基础模型/大模型：SD 1.5 通用模型

下载地址：

推荐SD 1.5版本，由Runway发布：

https://huggingface.co/runwayml/stable-diffusion-v1-5

老版本：

https://huggingface.co/CompVis/stable-diffusion

另有2.0版本，以及各版本的区别，详见本课视频。

用通用模型已经可以上手开始生成图像了，如果对某些特定风格有进一步要求，则可以进一步选择经过定制训练后的模型。

2. 经过定制训练的模型

这类模型训练属于Fine Tune训练。

SD模型训练方式最常见三种，Textual Inversion、Dreambooth、LoRA。

初上手直接在C站上挑选训练好的模型即可。类型标在C站模型预览图的左上角，见下图：

a. Textural Inversion

https://textual-inversion.github.io/
训练后的文件小，几K至几十K。
实际上训练后得到的是一个精炼的关键词组合，embeddings文件。
可以多个TI组合使用。
TI训练，webui 内置，文档：
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion

b. Dreambooth

https://dreambooth.github.io/
训练后文件大，几G。
训练后得到的是一个大模型。
只能单个使用。
Dreambooth训练1，webui 扩展：
https://github.com/d8ahazard/sd_dreambooth_extension
训练选择2，推荐
https://github.com/bmaltais/kohya_ss
训练选择3，colab脚本
https://github.com/TheLastBen/fast-stable-diffusion

c. LoRA

是一种性能优化的Dreambooth训练方法。
训练后文件大小适中，几M至几百M。
训练后得到的是lora模型文件，可以搭配大模型文件一同使用。
可以多个LoRA组合使用。
LoRA训练，同Dreambooth，webui 扩展：
https://github.com/d8ahazard/sd_dreambooth_extension
训练选择2
https://github.com/bmaltais/kohya_ss

三种模型在SD webui里存放的位置、使用方法，详见本课视频。

No.2

关键词

关键词资源全网很多，课堂预购了以下几套，在情报中心圈子里获取。

20000+AI绘画关键词
建筑类 Architecture Midjourney Prompts
关键词生成器 Prompt Generator - SD Art v1.9 Excel版
https://promptomania.com/stable-diffusion-prompt-builder/
https://promptomania.com/midjourney-prompt-builder/
https://stable-diffusion-art.com/prompt-guide/

C站模型样例图关键词及参数一键拷贝方法：

详细操作见本课视频。

No.3

扩展/插件安装

一些常见功能，如ControlNet，需要通过插件的方式来安装。

可以直接在webui的Extensions里进行操作。

也可以手动安装，通过git clone或直接下载插件包的方式，详见：

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions

插件安装、使用的教程全网资源也很多。

有疑问可在圈子、群内答疑。

No.4

ControlNet

掌握了基本图像生成后，可通过ControlNet进行更精确的控制，解决构图、精修等细节问题。

将在后续课程详细讲解。

ControlNet介绍及文档：

https://github.com/lllyasviel/ControlNet
https://github.com/Mikubill/sd-webui-controlnet

No.5

模型训练

模型训练用来解决进一步风格定制、内容细节生成、品牌形象植入等问题，也可以改善AI视频中如角色面部控制、造型定制等问题。

AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述