Stable Diffusion的各类模型介绍

Stable Diffusion模型目前有版本1和版本2，2个都是开源的。但1版本使用的是OpenAI的CLIP，2版本用的是OpenCLIP，它是CLIP的开源版本。虽然从解码提示词的角度来说，Stable Diffusion1.5的版本比Stable Diffusion2的版本要表现得更好些，因此，我们比较推荐的是Stable Diffusion1.5版本。

这种不再使用CLIP的转变，可能会为项目贡献者提供一些保护，避免潜在的责任问题，鉴于即将到来的知识产权诉讼浪潮肯定会影响此类模型，这一点很重要。

【1】大模型/底模型-属于基础模型也叫预调模型

首先介绍的是大模型，是SD能够绘图的基础模型。安装完SD软件后，必须搭配基础模型才能使用。不同的基础模型，其画风和擅长的领域会有侧重。

【2】Lora模型-属于微调模型

介绍：

如果把基础模型比喻作一座房子的地基，那么Lora模型就好比在这个地基上盖起来的房子。我们通常也称为微调模型，用于满足一种特定的风格，或指定的人物特征属性。在数据相似度非常高的情形下，使用微调模型，可以节省大量的训练时间和训练资源，就可以产出我们需要的结果。

获得：

要想获得不同的lora，可以是到网络上C站或国内的AI图站下载。下载后的lora文件直接放到Stable Diffusion安装目录的models的lora目录里。刷新后就可使用。

使用：

点击lora调用按钮后，在tag栏就可以看到一个词条，然后再继续编辑描述语即可。

训练：

训练lora的教程B站上很多，也容易让大家看的迷糊，毕竟各有各的炼法，也因为每个人的理解和硬件不同，会有不同操作方式。

这方面的个人心得，也会放在稍后的05期分享中跟大家探讨。

【3】VAE美化模型

VAE，全名Variational autoenconder，中文叫变分自编码器。作用是：滤镜+微调。

有的大模型是会自带VAE的，比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反。

【4】Embeddings和Hypernetworks个性化模型

Embeddings-也是属于微调模型，Hypernetworks则不太用了。

Embeddings叫文本反转，通过仅使用的几张图像，就可以向模型教授新的概念。用于个性化图像生成。与lora模型一样，Embeddings也必须配合基础模型使用。

【5】DreamBooth模型

DreamBooth，可用于训练预调模型用的。是使用指定主题的图像进行演算，训练后可以让模型产生更精细和个性化的输出图像。

【6】LyCORIS模型

介绍：

此类模型也可以归为Lora模型，也是属于微调模型的一种。一般文件大小在340M左右。不同的是训练方式与常见的lora不同，但效果似乎会更好不少。

其中本人较喜欢的“Miniature world style 微缩世界风格”就属于这类模型。

获得：

但要使用此类微调模型，需要先安装一个locon插件，直接将压缩包解压后放到StableDiffusion目录的extensions目录里。

下载地址：https://github.com/KohakuBlueleaf/a1111-sd-webui-locon

使用：

使用时注意，除了要将lora调入，还要在正向tag开头添加触发词

例如：这个微缩世界风格的lyCORIS的调用，正向描述语如下

mini\(ttp\), (8k, RAW photo, best quality, masterpiece:1.2), island, cinematic lighting,UHD,miniature, landscape, Crystal ball,on rock, lora:miniatureWorldStyle\_v10:0.8

训练：

对此类模型的训练有兴趣的，可以参看：

【Stable Diffusion风格化LyCORIS（LoCon和LoHa）_ LoRA】 https://www.bilibili.com/video/BV1XL411X7n5/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552

---

模型下载处-C站

网址（需科学上网）：https://civitai.com/

首页面下拉，可以看到此模型的其他作品作参考。

国内模型下载处-AI图站

https://aituzhan.com/

这个站点或许可以淘到不少C站下架了的模型，还是相当不错的。

---

介绍几个大模型

这里介绍几款基础模型给大家，在文字结尾有百度链接也可以下载到，或者自行到上面推荐的2个站点下载。

lofi_V2pre.safetensors

这是一款不输于chilloutmix_Ni.safetensors（最常用的用于绘制亚洲女性的基础模型）

写实风格，善于人物。

revAnimated_v121.safetensors

这款模型作图效果很好，还能搭配很多不同lora达到很强的表现效果。

v1-5-pruned-emaonly.safetensors

1.5版本官方模型

cuteRichstyle15_cuteRichstyle.ckpt

可爱人物像模型，这个模型不仅需要调用模型，在tag中还需要调用到触发词：cbzbb

Waifu-diffusion:

很出名的模型，用来生成Novel AI类似风格的图片。日漫风格的模型。

下载链接：https://huggingface.co/hakurei/waifu-diffusion

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

👉[[CSDN大礼包：《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]（安全链接，放心点击）

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】