大家好,我是卡狄。
昨天我们共同学习了Stable Diffusion的UI界面和提示词的写法,最简单的文生图已经算基本掌握了。
今天我们在优化一下,加上Lora模型来尝试一下会有什么不一样的效果。
01
认识Stable Diffusion的几种模型
在学习之前我们先来简单看一下SD中可以看到的几种模型。
1.嵌入式(TI.Embedding):不常用,字面意思是文字嵌入,在check point模型的基础上训练来的,特点是文件格式是pt,体积一般只有几十kb,特别小。这类模型要放到\embeddings文件夹内。
**2.超网络(Hypernetworks):**功能和lora类似,但是不如Lora效果好,所以我们也基本放弃这个模型。这类模型要放到models\hypernetworks文件夹内。
**3.大模型:**这里是我们常用的大模型。是SD运行的基础,没有它SD无法运行。这类模型要放在models\Stable-diffusion文件夹内。
**4.Lora:**它是我们除大模型外使用最多的模型,这类模型容易训练,对电脑配置要求低,文件安全。这类模型要放到models\lora文件夹内。
简单了解完SD总能看到的几种模式之后我们进入正题。
简单来说Lora的作用是帮我固定认为特征,比如相貌,衣服,动作,风格等。
下面这些都是使用了Lora输出的图片。
这里很多人会有一个疑惑,那lora和大模型有什么区别?
我们可以这样理解:
SD官方有自己的大模型,如:SD1.5,SD2.0。这种我们把他理解为我们毛坯房。
我们经常用的被训练过的大模型,比如:墨幽人造人,麦橘写实,二次元类型的这些