〔010〕Stable Diffusion 之 VAE 篇

已于 2023-11-08 15:13:27 修改
阅读量2.8k 收藏 27
点赞数 32
分类专栏： 《全套 AI 绘画教程》 文章标签： stable diffusion 人工智能 图生图 ai绘画 经验分享
于 2023-08-14 15:39:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41635750/article/details/132276574
版权
本文介绍了变分自动编码器（VAE）的基础知识，阐述了VAE在图像处理中的作用，如加滤镜效果。通过开启VAE的步骤，下载常见VAE模型，以及对比不同VAE模型生成效果的方法，帮助读者理解和应用VAE进行AI绘画。
摘要由CSDN通过智能技术生成

✨ 目录

▷ 什么是VAE

  • VAE：是 Variational Auto-Encoder 的简称，也就是变分自动编码器
  • 可以把它理解成给图片加滤镜，现在的很多大模型里面已经嵌入了 VAE，所以并需要额外添加 VAE
  • 如果你发现生成的图片在色彩，细节上有些颜色缺失或者失真，基本就是该模型中没有 VAE 导致的，需要手动使用 VAE

使用VAE对比图

▷ 开启VAE

  • 点击 设置Setting ▶ 用户界面 User interface ▶ 快捷设置列表 Quicksettings list
  • 勾选：sd_vae，然后点击应用设置，并点击重启前端按钮

了解本专栏 订阅专栏 解锁全文 超级会员免费看
极客飞兔
关注
专栏目录
订阅专栏
Stable Diffusion WebUI 使用 VAE 增加滤镜效果
水滴的博客
04-25 5670
VAE（variational autoencoder）表示变分自动编码器，它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。通俗点说，可以把 VAE 理解为一种滤镜，它能让图片的色彩更加饱满，告别灰蒙蒙的感觉；同时，它还能对图片的细节进行微调，改善面部和眼部，让整体效果更加出色。在 Stable Diffusion 中，绝大部分大模型已经内置了默认的 VAE，无需再外挂 VAE 了。
【Stable Diffusion】什么是VAE
weixin_47970003的博客
04-16 1万+
VAE是Stable Diffusion的一种重要的深度学习模型，它可以使图像变得更鲜艳，帮助AI绘画师更好地理解输入图像的特征，并生成更加逼真的绘画作品，本文从基本概念讲起，对VAE的作用，打开方式，存放位置，下载途径等方面进行简要的全面介绍，帮助初学者快速入门，快速使用。
通俗易懂的Stable Diffusion模型结构介绍
qq_61144763的博客
04-28 4726
通俗易懂的Stable diffusion模型结构介绍
StableDiffusion模型大盘点，15个必须拥有的SD大模型打包分享
最新发布
m0_58477260的博客
08-22 2815
这期推荐Stable Diffusion大模型，均为开源免费。对于AI绘画初学者，希望这些模型能为了你的创作提供帮助。
Stable Diffusion VAE：改善图像质量的原理、选型与使用指南
热门推荐
None
08-01 1万+
在Stable Diffusion中，不管是V1，V2，还是其他基础模型，如果本身对图像质量没有苛刻要求，其实是不需要额外部署VAE模型的，因为现在很多模型中都已经集成了VAE，比如 Anything VAE 已经集成到 Anything 模型了，再额外增加模型也没有效果。但是通过使用额外的VAE能够胜过默认提供的内置模型。在latent空间中生成后的图像再经解码还原到像素空间，即人类看见的图像，这个过程中，图像会有信息损失，而VAE就充当了上述编解码器的角色，好的VAE模型能够较好的保证图像质量。
Stable Diffusion VAE
Funnyman_Ming的博客
01-05 2192
Stable Diffusion 中VAE的编码和解码过程的直观展示。
Stable Diffusion——外挂VAE模型
红目香薰
12-24 4825
具体来说，VAE是一种生成模型，可以学习到数据的潜在表示空间，并将其用于生成新的数据样本。总的来说，Stable Diffusion VAE 模型的作用是通过学习潜在表示空间，将文本表示转化为图像，从而实现高质量、稳定且可复现的文本生成图像任务。我们平时主要应用的是：Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。两者的训练基数不同，更大的训练资源反馈的结果当然更好一些，所以我们可以默认选择使用比较高的版本，因为最接近实际的拍摄。
stable diffusion实践操作-VAE
weixin_43360707的博客
09-01 2179
本文专门开一节写图生图相关的内容，在看之前，可以同步关注：stable diffusion实践操作。
stable-diffusion默认vae
11-07
stable-diffusion默认vae
〔007〕Stable Diffusion 之 微调模型 篇
国内某知名游戏公司小菜鸡工程师
06-02 2513
学习不同的模型，让AI成为你的生产力
AI绘图 Stable diffusion checkpoint模型 ckpt模型 vae模型 Counterfeit-V2.5
04-25
下载stable-diffusion-webui或者novelai-webui后 把ckpt模型放在models\Stable-diffusion\下 把vae模型放在models\VAE\下 把embedding模型放在\embeddings\下 把lora模型放在 \extensions\sd-webui-additional-...
AI绘画——Stable Diffusion模型，变分自编码器（VAE）模型 ， lora模型——调配设置与分享
timberman666的博客
04-11 5823
AI绘画——Stable Diffusion模型，变分自编码器（VAE）模型 ， lora模型——调配设置与分享
理解 Stable Diffusion、模型检查点(ckpt)和变分自编码器(VAE)
weixin_47420447的博客
01-18 1179
在探索深度学习和人工智能领域的旅途中，理解Stable Diffusion、模型检查点(ckpt)以及变分自编码器(VAE)之间的关系至关重要。这些组件共同构成了当下一些最先进图像生成系统的基础。本文将为初学者提供一个详细的概述，帮助您理解这些概念以及它们是如何协同工作的。Stable Diffusion 是一个用于生成和修改图像的深度学习模型。它是基于神经网络训练的，能够学习大量图像数据的内在模式，并利用这些学习到的模式来创造出新的图像内容。
Stable Diffusion——基础模型、VAE、LORA、Embedding各个模型的介绍与使用方法
知来者逆的博客
02-20 7409
Stable Diffusion（稳定扩散）是一种生成模型，基于扩散过程来生成高质量的图像。它通过一个渐进过程，从一个简单的噪声开始，逐步转变成目标图像，生成高保真度的图像。这个模型的基础版本是基于扩散过程的，但也有一些改进版本，包括基于变分自动编码器（VAE）、局部正则化的自动编码器（LORA）和嵌入式扩散等。
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
Life is short
04-20 6436
在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简语言，无公式推导，旨在理解思想。让有机器学习基础的朋友，可以快速了解SD模型的重要部分。如有理解错误，请不吝指正。
AI绘画干货--SD模型VAE与提示词写法
阿道夫的博客
06-25 1437
大家好我是阿道夫！AI绘画越来越火，我呢，也准备更新一系列Ai辅助设计的文章，我以本地部署的Stable Diffusion为主~本次我们主要来讲讲SD的模型和提示词。
Stable Diffusion基础操作
2401_85116933的博客
06-14 798
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion2
whaosoft143ai的博客
10-15 1599
之前发了一篇 tensorflow stable diffusion的 ~~ 现在来第二弹扩散模型(DMs)将生成过程顺序分解，基于去噪自动编码器实现，在图像数据和其它数据上实现了先进的生成结果。此外，它们可以添加引导机制来控制图像生成过程而无需再训练。然而，由于这些模型直接在像素空间中操作，优化扩散模型DM消耗数百个GPU天，且由于一步一步顺序计算，推理非常昂贵。为在有限的计算资源上进行DM训练，同时保持其质量和灵活性，本文应用了预训练自动编码器的潜在空间。
stable diffusion vae
07-27
稳定的扩散VAE（Stable Diffusion VAE）是一种变分自编码器（VAE）的改进版本。VAE是一种生成模型，用于学习数据的潜在表示并生成新的样本。传统的VAE使用随机变分推断来近似后验分布，但在训练过程中可能会遇到许多挑战，例如模式崩溃和模式坍塌等问题。 稳定的扩散VAE通过引入扩散过程来解决这些问题。扩散过程是一种渐进地将先验分布扩散到后验分布的方法。通过控制扩散过程的步骤数，稳定的扩散VAE可以在不同的潜在空间中探索更多的样本。 稳定的扩散VAE还引入了一个稳定性损失函数，用于平衡重建损失和KL散度损失。这有助于防止模型陷入局部最小值，并提高生成样本的质量和多样性。 总而言之，稳定的扩散VAE是一种改进的VAE方法，通过引入扩散过程和稳定性损失函数来解决传统VAE中存在的问题，提高了生成模型的性能和样本生成质量。
评论 58
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客飞兔

你的支持是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值