英文原文:https://stable-diffusion-art.com/how-to-use-vae/
VAE 是稳定扩散 1.4 或 1.5 模型的部分更新,可以使眼睛渲染得更好。我将解释什么是 VAE、您可以期待什么、在哪里可以获得它以及如何安装和使用它。
什么是VAE?
VAE 代表variational autoencoder(变分自动编码器)。它是神经网络模型的一部分,可在较小的潜在空间之间对图像进行编码和解码,从而使计算速度更快。
我需要 VAE 吗?
您不需要安装 VAE 文件来运行 Stable Diffusion - 您使用的任何模型,无论是 v1、v2 还是自定义模型,都已经有默认的 VAE。
当人们说下载和使用 VAE 时,他们指的是使用它的改进版本。当模型训练器使用附加数据进一步微调模型的 VAE 部分时,就会发生这种情况。他们没有发布一个大文件的全新模型,而是只发布已更新的一小部分。
使用VAE有什么效果?
通常,它很小。改进的 VAE 可以更好地从潜在空间解码图像。精细细节得到更好的恢复。它有助于渲染所有细节都很重要的眼睛和文本。
Stability AI 发布了两种经过微调的 VAE 解码器变体:EMA(Exponential Moving Average) 和 MSE(Mean Square Error)。 (指数移动平均值和均方误差是衡量自动编码器性能的指标。)
请看下面的比较。
Stability AI EMA、MSE 和原始解码器之间的比较。 (256×256 图像)
您应该使用哪一个?对 256×256 图像的稳定性评估是,EMA 生成的图像更清晰,而 MSE 的图像更平滑。 (这符合我自己的测试。)
在我自己使用 512×512 图像对 Stable Diffusion v1.4 和 v1.5 进行的测试中,我发现某些图像中的眼睛渲染效果有了很大的改进,尤其是当面部较小时。我没有看到渲染文本有任何改进,但无论如何,我认为没有多少人因为这个原因而使用稳定扩散。
无论如何,新的 VAE 性能都会更差。要么做得更好,要么什么都不做。
下面是使用稳定扩散 v1.5 模型的原始、EMA 和 MSE 之间的比较。 (提示可以在这里找到。)放大并比较差异。
使用 SD v1.5 比较原始、EMA 和 MSE 之间的 VAE。请注意,原始图像中的乱码眼睛已恢复。
对文本生成的改进并不那么明显(在提示中添加了“举着一个表示稳定扩散的标志”):
原始、EMA 和 MSE 之间的 VAE 比较。文本渲染的改进尚不清楚。
您还可以将这些 VAE 与自定义模型一起使用。我用一些动漫模型进行了测试,但没有看到任何改进。我鼓励您自己进行测试。
最后一点,EMA 和 MSE 与 Stable Diffusion v2.0 兼容。您可以使用它们,但效果很小。 2.0在渲染眼睛方面已经非常擅长了。也许他们已经将改进纳入到模型中。
我应该使用 VAE 吗?
如果您对所获得的结果感到满意,则无需使用 VAE。例如,您已经在使用 CodeFormer 等面部修复来修复眼睛。
如果您愿意采取所有可以获得的小改进,那么您应该使用 VAE。您只需要经历一次设置的麻烦。之后,艺术创作工作流程保持不变。
如何使用VAE?
VAE 可以在快速入门指南中包含的 Colab Notebook 中使用。
下载
目前,Stability发布了两个VAE的改进版本。以下是直接下载链接。
安装
此安装说明适用于 AUTOMATIC1111 GUI。将下载的VAE文件放入目录中
stable-diffusion-webui/models/VAE
适用于 Linux 和 Mac 操作系统
为了方便起见,请在 Linux 或 Mac OS 中的 stable-diffusion-webui 目录下运行以下命令,下载并安装 VAE 文件。
wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt -O models/VAE/vae-ft-ema-560000-ema-pruned.ckpt
wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
使用
要在 AUTOMATIC1111 GUI 中使用 VAE,请单击左侧的“设置”选项卡,然后单击“VAE”部分。
在 SD VAE 下拉菜单中,选择您要使用的 VAE 文件。
按顶部的红色大应用设置按钮。您应该看到该消息
Settings: sd_vae applied
加载成功后,在“设置”选项卡中。
下拉菜单中的其他选项有:
- None:使用模型自带的原始VAE。
- Auto:请参阅此帖子了解行为。我不建议初学者使用 Auto,因为很容易混淆使用的是哪个 VAE。
专业提示:如果找不到设置,请单击左侧的“显示所有页面”。所有设置都将显示在一个页面上。使用 Ctrl-F 查找设置。
总结
我们已经介绍了如何使用 Stability AI 发布的两种改进的 VAE 解码器。它们对渲染眼睛提供了微小但显着的改进。您可以决定是否要使用它。