stable diffusion实践操作-VAE

系列文章总目录

stable diffusion实践操作

---

---

一、 前言

1 定义功能全局介绍

VAE，全名Variational autoenconder，中文叫变分自编码器。作用是：滤镜+微调 ，名字中带有vae，后缀ckpt,pt
有的大模型是会自带VAE的，比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。

大部分底模有VAE，但是部分底模没有VAE，需要专门下载VAE才能使用。
最常用的VAE：vae-ft-mse-840000-ema-pruned
功能：用来饱和度和细节提升

色彩饱和度提高

图片细节增强

SD webUI位置

2 模型全局介绍

2.1 后缀以及存放位置

下载后存放地址：sd-webui-aki-v4.2\models\VAE

2.2 查看大模型是否有VAE

具体加不加VAE，需要详细看大模型说明，如果没有说明，那么就先不要加看看结果，如果结果比较灰蒙蒙的，那么就需要加。

---

二、正文

1 原理

首先贴出知乎文档，后期慢慢研究

1.1 基础原理

VAE其中包括了编码器和解码器，

在VAE的训练过程中，利用VAE的编码器对图片进行压缩，提取图片的潜在表征使得训练加速。

还原过程，将图片解压使其还原成一个清晰的图片：

SD将我们的文字集以及大模型的图像集，通过编码器（CLIP），转化成机器可以识别的代码，然后将这些代码迭代到符合我们描述的图像代码中，这些代码发送给了VAE进行解码，输出为图像。就这样SD通过我们的文字提示词，生成了基于大量图片训练的大模型的风格。

下面是一张比较严谨的流程

2 使用

2.1 增加饱和度

2.2 增加细节

3 下载

3.1 自动下载

3.2 手动下载

下载地址：（后期补充）
下载后存放地址：sd-webui-aki-v4.2\models\VAE

---

三 、总结

例如：以上就是今天要讲的内容，本文仅仅简单介绍了VAE的原理和使用。