关于Stable Diffusion中的VAE使用

前言

VAE是对 Stable Diffusion 1.4 or 1.5的部分更新。我将解释什么是VAE，您可以期待什么，在哪里可以获得它，以及如何安装和使用它。

VAE

VAE(变分自编码器)是一种神经网络模型的一部分,它可以对图像进行编码和解码,将图像转换到更小的潜在空间,以便计算可以更快。它通过编码和解码图像来实现在更小的潜在空间中的图像表示,这可以加速计算过程。

补充：如果你想更了解VAE的机制，可以查看关于Stable Diffusion工作原理。

是否需要VAE

您无需安装 VAE 文件就可以运行 Stable Diffusion,因为无论是 v1、v2 还是自定义模型,都已经内置了默认的 VAE。
　　当人们提到下载和使用 VAE 时,他们指的是使用 VAE 的改进版本。这发生在模型训练者用额外的数据进一步微调了模型的 VAE 部分。为了避免发布一个很大的完整新模型,他们只发布了经过更新的小部分。

VAE的使用效果

Stability AI发布了两种精调后的VAE解码器变体,ft-EMA和ft-MSE，它们强调的部分不同！

补充说明：EMA和MSE：指数移动平均（Exponential Moving Average）和均方误差（Mean Square Error）是测量自动编码器好坏的指标。

改善细节

通常,潜在空间是非常小的。一个改进的VAE可以从潜在空间中更好地解码图像。细微的细节可以得到更好的恢复。这有助于渲染眼睛和文本等所有细节都很重要的地方。

以下是它们的比较：

在 EMA、MSE 和原始解码器之间的比较（256×256 张图片）

你应该使用哪一个?Stability 在256×256图像上的评估是,EMA生成更清晰的图像,而MSE生成的图像更平滑。(这与我自己的测试结果一致。)

在我自己用Stable Diffusion v1.4和v1.5测试512×512图像的过程中,我在一些图像的眼睛渲染上看到了很好的改进,尤其是当人脸很小的时候。

总的来说,新版的VAE在任何情况下表现都不会比原来差。要么效果有所改进,要么保持原样。

以下是使用Stable Diffusion v1.5模型的原始、EMA 和 MSE 之间的比较：

使用SD v1.5比较原始、EMA和MSE之间的VAE，请注意眼睛

滤镜效果

有一些模型的VAE属于阴间滤镜……直接上新的VAE就对了！

下面是对比图：（其他都一致，种子随机，虽然不那么严谨，但是本质是为了体现滤镜！）

自带的VAE

开启最常用的840000vae

如果您对所获得的结果感到满意，则无需使用VAE。

你会选择用还是不用呢？

官方VAE

下载页面

最最最常用的就是步数840000了吧……

使用界面

---

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】