Stable Diffusion AI绘画学习指南【常用模型,采样器介绍】

本文链接：https://blog.csdn.net/m0_58477260/article/details/147145270

常用采样器、目前有20个采样步骤越多每个步之间的降噪越小，减少采样过程中的截断误差，结果越好

学微分方程求解器

Euler（最简单的采样器，采样过程中不加随机噪声，根据采样计划来执行每个步骤中的噪声，并使用欧拉方法减少适当数量的噪声以适应噪声计划，到最后一步为0）、Heun（是对 Euler 的更精确的改进，但需要在每个步骤中预算两次噪声，处理速度相对会更慢一些）、LMS（解决学微分方程的标准方法，采样速度与Euler 相同）

祖先采样器.

随机采样，采样过程具一定的随机性，缺点是图像不收敛

Euler a（在每个步骤中减去比『应该』更多的噪声并添加一些随机的噪声以接近于噪声计划，去噪图像取决于前面步骤添加的特定噪声）、DPM2a、DPM++2s a、DPM2 a Karras、DPM++ 2S a Karras

官方采样器,最早的采样器算法

DDIM、（使用去噪后的图像来近似最终图像，并使用噪声预测估计的噪声来近似图像方向）PLMS （是 DDIM 的新版且更快速的替代品）DPM 和DPM++，DPM2（是 katherine Crowson 在 k-diffusion 项目中自创的，灵感来源 DPM-Solever-2 和算法
2，受采样器设置中的 sigma 参数影响）、DPM2 a（祖先采样器的一种，受采样器的 ETA 参数影响）、DPM++ 2sa（祖先采样器的一种，受采样器的 ETA 参数影响）、DPM++ SDE（受采样器的 ETA 参数影响）、DPM fast （用于 steps 小于 20
的情况，受采样器的 ETA 参数影响）、DPM++ 2M（在速度和质量的平衡最好，代表 m 的多步比上面的 s单步在采样时会参考更多步，而非当前步所以能有更好的质量）、DPM adaptive （2022 年发布的扩散模型的新采样器，DPM2 比 DPM
更准确但速度较慢，DPM++是对 DPM 的改进，可以自适应的调整步长，但会很慢，不能保证在规定的采样步骤内完成.）

带有 Karras 字样的采样器

使用了噪声时间表，控制每个步骤的噪声水平，随着采样步骤的增加，减少了截断误差

UNiPC

是 2023 年发布的，目前最快速的最新的采样方法 UNiPC sampling steps 10、UNiPC sampling steps
20、UNiPC sampling steps 30受 ODE 求解器中预测校正方法启发可以在很少的步骤就可以实现高质量图像生成

常用的采样器

DPM++ 2M karras(20-30 步)、unpic（15-25 步）、如果想要高质量的图，不收敛可以选择 DPM++ SEDKarras,DDIM (10-15 步，较快) ，如果要简单的图可以选 Euler,heun 可以减少步骤以节省时间，如果想要稳定可复线的图（Eulera、DPM2 a、DPM++ 2s a、DPM2 a karras、DPM2 ++ 2s a karras,避免采用任何祖先采样器）

常用模型

二次元代表 ：Anything v5、Counterfeit v2.5、Dreamlike Diffusion、

标签与风格关键词：

illustration,painting,sketch,drawing,painting,comic,anime,catoon

可以使用这些词语为关键词搜索对应的风格模型，也可以使用它们在 Prompt 中激活模型风格特性。

写实代表：Deliberate、Realistic Vision、LOFI(L.O.F.I)

标签与风格关键词：

photography,photo,realistic,photorealistic,RAW photo

可以使用这些词语为关键词搜索对应的风格模型，也可以使用它们在 Prompt 中激活模型风格特性。

2.5D 风代表 ：NeverEnding Dream(NED)、Protogen (Realistic) 、国风 V3(GuoFeng3)
、lora 卡通证件照（底模：DreamShaper，06-0.9）

风格关键词：

3D、render、chibi、digital art、concept art、{realistic}

可以使用这些词语为关键词搜索对应的风格模型，也可以使用它们在 Prompt 中激活模型风格特性。

模型扩展名的区分

模型的类型（是装着各种图片的容器）官方模型网站：https://huggingface.co

Stable Diffusion 大模型（*.ckpt) 文件是用 pickle序例化的。这意味着它有可能会包含恶意代码。加载这类型的模型应该确认可靠的来源。

.safetensors 文件是用 numpy 保存的，这意味着它们只是包含张量数据。没有任何代码。加载.safetensors 文件更安全快捷。

emb 模型嵌入式模型是一种用于生成图片语言理解组件，它可以接受文本提示并产生 token embeddings，模型有多种不同的训练方法，例如Textual Inversion，Hypernetwork,Dreambooth 和 LoRA,这几种各有优劣势和应用场景。

VAE模型，具有颜色的校正功能，可以让生成的图像更加鲜艳或者柔和，初化的图像，可能在这个图像的基础上进行细化和改进。低维的隐空间，可以在这个空间中控制图像的风格和特征。

超网络模型（hypernetworks) 可以用来对 Stable-diffusion 的模型进行风格迁移（style transfer)。

LoRA 模型体积小，适合性能不足的电脑使用，可以用少量的图片训练，训练时间较短，一般用于固定的人物，服装，动作。

模型的安装

官方模型网站 https://huggingface.co

将下载的模型文件放入 stable-diffusion-webui/models/下对应模型类型的文件目录中，在 web UI的模型选择后面重载，即可看到新加入的模型，models 目录下包含模型，算法，采样器。

关注我，后继会更新更多有趣有用的关于AI相关的课程！

AI绘画商业应用，个人变现项目本人正在试验中，感兴趣的朋友可以下方扫码咨询我。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。