Stable diffusion模型分几种？一文详解，入门必看！

在Stable Diffusion中，模型并不只有一种，不同插件有不同的模型，分别作用于不同的功能。

01

大模型

也就是stable diffusion模型，在默认界面中，它位于web页面的左上角，下拉列表对应的模型：

可以理解为绘画风格集合，SD需要大模型来规定它生成的图片风格，大模型是必选模型，你必须选择一个大模型才能开始生成工作。

如何获取？

这部分模型可以通过在各个模型网站下载，如果有代理可以前往civitai.com ，也叫做C站，以及huggingface.co 叫做抱脸。

如果没有代理，可以前往 liblib.ai 下载，但是需要注意的是，这些网站上通常是包括多种类型的模型，并不是所有模型都是用于这里的， 你需要选择 checkpoint类型，文件尺寸大于等于1.8G的，通常是大模型。

大模型的放置位置在整合包根目录下的 \models\Stable-diffusion\ 目录内，可以通过建立下级目录的方式进行分类，方便管理。

下载的新模型放置好之后，可以直接点击网页上下拉列表旁边的刷新按钮，直接加载。当然，也可以通过关闭页面并重启控制台来重新加载。

02

LoRA

在默认界面中，SD1.6以上的版本，lora显示在生成标签的最右侧：

lora是可选模型，即便没有lora，也可以正常生成图像。

lora模型的文件位置在根目录\models\Lora,下载对应的模型放入即可，下载网站跟上面的大模型是相同的几个网站，只是类型要选lora类型。

重复一遍，大模型的类型通常是checkpoint，而lora的类型通常就是lora。这里说的类型不是指下载下来的文件类型，而是网站对于模型的分类，这一点一定要记住。

lora和大模型以及下面说的嵌入式模型，他们的文件后缀都是相同的，光凭借后缀是无法区分的，你必须在下载每个模型的时候确定它属于什么，再放到对应目录，而不是一股脑下载完才开始挪。

lora是在大模型基础上进行进一步修改的算法，一般是比如特定人物lora或者是调整色彩饱和度之类的专门的作用。

lora的调用方式很简单，如果是你自己的lora，你可以通过点击lora卡片的方式，自动调用lora，会在你的提示词区域自动生成一个带有尖括号的特殊词组，例如：

关于lora的进一步使用，以及权重的相关解释，请前往B站或其它平台，另行搜索相关教程视频了解。

03

嵌入式

它通常是作用于反提示词（负面提示词）的，经典的常用模型包括EasyNegative, negative_hand 之类的。它的位置在生成标签旁边：

使用方式跟lora一样，点击卡片就可以使用了，会自动出现在反向提示词内。当然你也可以手动输入或复制对应的触发词（通常是文件名）。

嵌入式模型的文件位置在 根目录\embeddings ,下载对应的嵌入式模型放入即可。

04

controlnet模型

这是插件 controlnet 需要使用模型。它在界面上位于生成标签内，如果你安装了这个插件的话。目前秋叶整合包应该是初始就带了controlnet插件：

通过点击右方的三角箭头，展开controlnet设置，其中有一行 预处理器 和 模型 的下拉选择，我们这里说到的模型就是特指这里的controlnet模型：

确切地说，它的完整名称应该叫 controlnet专用模型。

在这个界面中，“预处理器”对应的是

根目录\extensions\sd-webui-controlnet\annotator\downloads

这个位置，但这里比较复杂，你需要仔细看相关教程放好对应的文件夹和文件。

“模型”的下拉菜单，对应的是 根目录\models\ControlNet 这个位置，或者是 \extensions\sd-webui-controlnet\models 这个目录，这两个目录都可以生效，系统会自动从这两个目录中寻找你放入的模型进行加载。

总的来说，controlnet一个新的算法它包含两部分，一个是预处理器，一个是模型，两者缺一不可。

对于controlnet模型的基础知识就介绍到这，controlnet因为是一个非常经典的插件，后续老师会带大家详细了解，记得关注我呦～

目前 ControlNet 已经更新到 1.1 版本，相较于 1.0 版本，ControlNet1.1 新增了更多的预处理器和模型，每种模型对应不同的采集方式，再对应不同的应用场景，每种应用场景又有不同的变现空间

我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍，跑了一次全流程，终于将它完整下载好整理成网盘资源。

其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型，现在就分享给大家，点击下方卡片免费领取。

1. 线稿上色

**方法：**通过 ControlNet 边缘检测模型或线稿模型提取线稿（可提取参考图片线稿，或者手绘线稿），再根据提示词和风格模型对图像进行着色和风格化。

**应用模型：**Canny、SoftEdge、Lineart。

Canny 示例：（保留结构，再进行着色和风格化）

2. 涂鸦成图

方法：通过 ControlNet 的 Scribble 模型提取涂鸦图（可提取参考图涂鸦，或者手绘涂鸦图），再根据提示词和风格模型对图像进行着色和风格化。

应用模型：Scribble。

Scribble 比 Canny、SoftEdge 和 Lineart 的自由发挥度要更高，也可以用于对手绘稿进行着色和风格处理。Scribble 的预处理器有三种模式：Scribble_hed，Scribble_pidinet，Scribble_Xdog，对比如下，可以看到 Scribble_Xdog 的处理细节更为丰富：

Scribble 参考图提取示例（保留大致结构，再进行着色和风格化）：

3. 建筑/室内设计

**方法：**通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状，构建出建筑线框（可提取参考图线条，或者手绘线条），再配合提示词和建筑/室内设计风格模型来生成图像。

**应用模型：**MLSD。

MLSD 示例：（毛坯变精装）

这份完整版的ControlNet 1.1模型我已经打包好，需要的点击下方插件，即可前往免费领取！

4. 颜色控制画面

**方法：**通过 ControlNet 的 Segmentation 语义分割模型，标注画面中的不同区块颜色和结构（不同颜色代表不同类型对象），从而控制画面的构图和内容。

**应用模型：**Seg。

Seg 示例：（提取参考图内容和结构，再进行着色和风格化）

如果还想在车前面加一个人，只需在 Seg 预处理图上对应人物色值，添加人物色块再生成图像即可。

5. 背景替换

**方法：**在 img2img 图生图模式中，通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景，再通过提示词更换想要的背景。

**应用模型：**Depth，预处理器 Depth_leres。

**要点：**如果想要比较完美的替换背景，可以在图生图的 Inpaint 模式中，对需要保留的图片内容添加蒙版，remove background 值可以设置在 70-80%。

Depth_leres 示例：（将原图背景替换为办公室背景）

6. 图片指令

**方法：**通过 ControlNet 的 Pix2Pix 模型（ip2p），可以对图片进行指令式变换。

应用模型：ip2p，预处理器选择 none。

**要点：**采用指令式提示词（make Y into X），如下图示例中的 make it snow，让非洲草原下雪。

Pix2Pix 示例：（让非洲草原下雪）

7. 风格迁移

**方法：**通过 ControlNet 的 Shuffle 模型提取出参考图的风格，再配合提示词将风格迁移到生成图上。

**应用模型：**Shuffle。

Shuffle 示例：（根据魔兽道具风格，重新生成一个宝箱道具）

8. 色彩继承

**方法：**通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况，再配合提示词和风格模型将色彩应用到生成图上。

**应用模型：**Color。

Color 示例：（把参考图色彩分布应用到生成图上）

这份完整版的ControlNet 1.1模型我已经打包好，需要的点击下方插件，即可前往免费领取！

这里就简单说几种应用：

1. 人物和背景分别控制

2. 三维重建

3. 更精准的图片风格化

4. 更精准的图片局部重绘

以上就是本教程的全部内容了，重点介绍了controlnet模型功能实用，当然还有一些小众的模型在本次教程中没有出现，目前controlnet模型确实还挺多的，所以重点放在了官方发布的几个模型上。

同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学，因为自身做副业需要，我这边整理了全套的Stable Diffusion入门知识点资料，大家有需要可以直接点击下边卡片获取，希望能够真正帮助到大家。