Stable diffsuion基础篇（补充）

前言：

补充一些前面没有记录的知识点，比较琐碎但是又算是基础的一部分。

一、SDXL大模型

1.sdxl和sd1.5的区别

1.模型组合不同

sd1.5的生成模型是一个，

sdxl的生成模型是两个，可灵活结合出图

基础模型：base模型（负责潜空间放大）

精修模型：refiner模型（负责细化放大）

2.训练参数不同

1.1.5模型训练参数9.8亿，XL的base模型有35亿参数，refiner参数模型有65亿

2.1.5训练的图片分辨率主要是512*512，XL的训练图片是1024*1024

训练的参数和图像分辨率不一样，也就导致了XL分辨率更高，更多细节

3.提示词写法优化

1.sd1.5主要是短语提示词，句子提示词出图效果不好

2.sdXL可以用句子生成，不需要质量词，可以理解长文本，自然语言描写图画

2.出图方式

组合出图

1.首先选择base大模型

2.打开refiner,选择模型（生图比例占10-20%），切换时机0.8（30的迭代步数，24步开始用refiner生成）

当然，也可以选择不用refiner也是可以的

3.建议使用分辨率

官方模型按照这几个分辨率来出图，非官方模型可以看模型的参数借鉴

4.优劣势

优势：

1.相比1.5的初始分辨率大幅提高

2.生成图片更加准确

3.初步具备生成文字的能力

4.简化了提示词的编写

5.风格自由度大幅提高

劣势：

1.对电脑配置要求更高

2.旧版本lora无法继承

3.XL模型训练成本高

4.关键插件对XL的支持不完全

二、xyz脚本

xyz脚本的功能是：通过控制变量的方式，比较不同参数下图片的生成效果。

让我们可以更直观地比较不同参数设置下的生成结果。直接上图👇

xyz三个轴可以挑选不同的参数，轴值需要用英文逗号隔开,例如

x轴我选了迭代步数，y轴我选了采样器，z轴我选了大模型（数值任意选择，不一定全部都要选）

各个参数可以对比一下，不同参数下不同的图片情况，可以找到更适合自己的图片。

包含图例注释：轴类型是否有添加标注

保持种子随机：生成的每张图种子值随机

包含次级图像：就是预览框内是否展示每一张图片信息

包含次级网格图：XYZ脚本会先生成一组质量一般的网格图，然后再生成质量较好的细节网格图。勾选后会默认显示

网格图边框：图片与图片之间的间距

轴互换：三个轴的数据互相调换

三、embedding

在这里就不赘述他的原理这些东西了，说了一大推也没用，直接介绍说作用了

名称：嵌入式，文本反转

定义：一堆提示词的结合

embedding是可以用于正向提示词，也可以用于负向提示词，目前主要是用于负向提示词为主。因为负向提示词一般是很多的，例如在描述手的时候，会描写，崩坏的手、畸形的手、多余的手指、缺少的手指等等，为了方便我们使用，常用的负向提示词会被打包在一起。这样我们只需要使用一个提示词，就可以代替输入很多的负向提示词，达到一词顶百词的效果。

使用方法：

1.调用embedding模型

2.调整合适权重，与提示词添加权重一样

3.参考作者填写参数

点击就能放到负向提示词词框

四、lora

在Stable Diffusion，LoRA 被用作一个优化技术，允许对原有的预训练模型进行微调而不必重新训练整个网络。这是通过在模型的特定层中引入低秩权重矩阵来实现的，这些矩阵可以有效地调整模型的行为，而不会大幅增加参数数量或计算负担。LoRA（Low-Rank Adaptation）是一种大语言模型低秩适配器

比喻一下就是：大模型是一个熟悉中国风的画手，lora就是关于西洋画的知识点碎片，大模型调用lora就是一个中国风画手简单学习一下这个知识点碎片，不用重头花大花时间去系统学习。

lora的数值一般是0-1，通常数值是0.6-0.9，具体看自己需要什么效果调整

一般lora都有触发词，下载的时候可以保存好触发词

优势：

模型尺寸小：基本是几十m 到200m 以内

参数合并：SD LoRA模型的参数可以合并到SD基础模型中

画风控制： 可以使用0到1之间的比例来控制SD LoRA新画风的程度

多画风混合： 可以将不同画风的SD LoRA模型以不同的比例混合

五、超网络（Hypernetworks）

类似于lora，几乎已经被淘汰，不展开介绍了，有兴趣的小伙伴可以自行搜索学习。