〔010〕Stable Diffusion 之 VAE 篇

已于 2023-11-08 15:13:27 修改
阅读量3.1k 收藏 28
点赞数 32
分类专栏： 《全套 AI 绘画教程》 文章标签： stable diffusion 人工智能 图生图 ai绘画 经验分享
于 2023-08-14 15:39:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41635750/article/details/132276574
版权
本文介绍了变分自动编码器（VAE）的基础知识，阐述了VAE在图像处理中的作用，如加滤镜效果。通过开启VAE的步骤，下载常见VAE模型，以及对比不同VAE模型生成效果的方法，帮助读者理解和应用VAE进行AI绘画。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

✨ 目录

▷ 什么是VAE

  • VAE：是 Variational Auto-Encoder 的简称，也就是变分自动编码器
  • 可以把它理解成给图片加滤镜，现在的很多大模型里面已经嵌入了 VAE，所以并需要额外添加 VAE
  • 如果你发现生成的图片在色彩，细节上有些颜色缺失或者失真，基本就是该模型中没有 VAE 导致的，需要手动使用 VAE

使用VAE对比图

▷ 开启VAE

  • 点击 设置Setting ▶ 用户界面 User interface ▶ 快捷设置列表 Quicksettings list
  • 勾选：sd_vae，然后点击应用设置，并点击重启前端按钮

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Stable Diffusion WebUI 使用 VAE 增加滤镜效果
水滴的博客
04-25 5840
VAE（variational autoencoder）表示变分自动编码器，它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。通俗点说，可以把 VAE 理解为一种滤镜，它能让图片的色彩更加饱满，告别灰蒙蒙的感觉；同时，它还能对图片的细节进行微调，改善面部和眼部，让整体效果更加出色。在 Stable Diffusion 中，绝大部分大模型已经内置了默认的 VAE，无需再外挂 VAE 了。
Stable Diffusion
weixin_47695827的博客
08-26 1849
Stable Diffusion是一种基于深度学习的文本到图像生成模型，其原理主要基于扩散模型（Diffusion Model）的变体，即潜在扩散模型（Latent Diffusion Model, LDM）。原理。
ComfyUI：Stable Diffusion 及 LoRA、VAE 、ControlNet模型解析
weixin_42010722的博客
02-24 1245
Hypernetwork(超网络)，就像是一个有特殊能力的助手，它可以帮助其他的神经网络变得更聪明。想象一下，你有一支足球队，每个球员都有自己的位置和技能。现在，如果有一个教练，他可以根据比赛的需要，临时给球员们一些额外的技能或建议，让球队表现得更好。Hypernetwork(超网络)在这个比喻中，就扮演了那个教练的角色。调整参数：Hypernetwork(超网络)会在原有的扩散模型基础上，新建一个神经网络来调整模型的参数。这就像是给足球队的每个球员一些特殊的训练，让他们在比赛中表现得更出色。效果类似。
Stable Diffusion VAE
Funnyman_Ming的博客
01-05 2738
Stable Diffusion 中VAE的编码和解码过程的直观展示。
stable Diffusion 中的 VAE是什么
kcarly的专栏
03-13 1091
VAE在Stable Diffusion中扮演着至关重要的角色，通过编码和解码图像数据，它不仅提高了生成图像的质量和多样性，还优化了计算效率。无论是作为滤镜调整图像细节，还是作为生成模型的核心组件，VAE都为Stable Diffusion的广泛应用提供了强大的支持。流行的Stable Diffusion模型中包含多种VAE（变分自编码器）类型，每种类型都有其独特的特点和应用场景。特点：EMA VAE通过使用指数移动平均值来稳定训练过程，生成的图像锐利且细节丰富。适用场景。
Stable Diffusion核心网络结构——VAE
haopinglianlian的博客
12-06 1913
本文详细介绍SD模型的三部件之一——VAE，阐述VAE在SD模型中的作用和完整的架构。
StableDiffusion中的VAE是什么，有什么用
ms44的专栏
12-12 1224
VAE 全称 Variational Auto Encoder （变分自编码器），是 stable diffusion 整个模型算法的组成部分之一，位于运作流程的末端，作用是让 stable diffusion 生成的图像颜色更鲜艳、细节更锐利；同时也能在一定程度上改善局部细节的生成质量，如手部、服装、脸部等，我们可以简单地把它理解为一种“滤镜”。在机器学习中，变分自动编码器VAE) 是由 Diederik P. Kingma 和Max Welling引入的一种人工神经网络架构。它属于概率图模型和。
stable-diffusion默认vae
11-07
stable-diffusion默认vae
Stable Diffusion之最全详解图解
破损的天堂鸟博客
07-11 2202
Stable Diffusion是一种革命性的图像生成模型，其发布标志着AI图像生成技术的一个重要里程碑。本文将通过详细的图解和实例演示，全面解析Stable Diffusion的工作原理。
Stable Diffusion——外挂VAE模型
红目香薰
12-24 5332
具体来说，VAE是一种生成模型，可以学习到数据的潜在表示空间，并将其用于生成新的数据样本。总的来说，Stable Diffusion VAE 模型的作用是通过学习潜在表示空间，将文本表示转化为图像，从而实现高质量、稳定且可复现的文本生成图像任务。我们平时主要应用的是：Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。两者的训练基数不同，更大的训练资源反馈的结果当然更好一些，所以我们可以默认选择使用比较高的版本，因为最接近实际的拍摄。
【Stable Diffusion】什么是VAE
热门推荐
weixin_47970003的博客
04-16 1万+
VAE是Stable Diffusion的一种重要的深度学习模型，它可以使图像变得更鲜艳，帮助AI绘画师更好地理解输入图像的特征，并生成更加逼真的绘画作品，本文从基本概念讲起，对VAE的作用，打开方式，存放位置，下载途径等方面进行简要的全面介绍，帮助初学者快速入门，快速使用。
stable diffusion实践操作-VAE
weixin_43360707的博客
09-01 3198
本文专门开一节写图生图相关的内容，在看之前，可以同步关注：stable diffusion实践操作。
Stable Diffusion基础操作
2401_85116933的博客
06-14 957
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
通俗易懂的Stable Diffusion模型结构介绍
qq_61144763的博客
04-28 5895
通俗易懂的Stable diffusion模型结构介绍
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）_stable diffusion结构
最新发布
Python栈_基的博客
03-21 1251
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
AI绘画——Stable Diffusion模型，变分自编码器（VAE）模型 ， lora模型——调配设置与分享
timberman666的博客
04-11 6054
AI绘画——Stable Diffusion模型，变分自编码器（VAE）模型 ， lora模型——调配设置与分享
stable diffusion的vae如何导入
12-28
### 将 VAE 模型导入 Stable Diffusion 环境 为了将自定义的 Variational Autoencoder (VAE) 导入到 Stable Diffusion 中，需遵循特定的过程来确保兼容性和功能正常运作。以下是详细的说明： #### 准备环境 首先确认已经成功克隆了 `stabilityai/stablediffusion` 仓库并完成了基本安装[^1]。 ```bash git clone https://github.com/stabilityai/stablediffusion.git cd stablediffusion pip install -e . ``` #### 下载预训练的 VAE 模型 获取想要使用的 VAE 模型文件（通常是 `.ckpt` 或者 `.pt` 文件）。可以从公开资源下载或是自己训练得到的一个新模型。 #### 修改配置文件 进入项目的根目录下找到 `configs/latent-diffusion/txt2img-1p4B-eval.yaml` 配置文件位置，并编辑此 YAML 文件中的参数以匹配新的 VAE 设置。特别是要调整与编码器和解码器有关的部分，使其指向正确的权重路径。 对于某些版本可能还需要修改 Python 脚本内的硬编码部分，比如在启动脚本里指定加载外部 VAE 的选项。 #### 加载自定义 VAE 当一切准备就绪之后，在命令行界面通过如下方式启动服务时加入额外参数来指示程序使用哪个 VAE: ```python from ldm.models.diffusion.ddpm import LatentDiffusion import torch model = LatentDiffusion.load_from_checkpoint( checkpoint_path="path/to/model.ckpt", vae_config_file="path/to/vae/config.yaml", first_stage_ckpt="path/to/pretrained_vae.ckpt" ) device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device) ``` 这段代码展示了如何创建一个带有自定义 VAE 的 `LatentDiffusion` 实例。这里假设有一个预先存在的检查点 (`checkpoint_path`) 和对应的 VAE 权重 (`first_stage_ckpt`) 及其配置(`vae_config_file`)。 #### 测试效果 完成上述操作后可以尝试生成图像来看看是否有预期的效果改进。如果遇到任何问题，则应回顾之前的每一步骤仔细排查错误原因。
评论 58
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江户川码农

你的支持是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值