Stable Diffusion XL(SDXL)原理详解

已于 2023-09-11 14:40:56 修改
阅读量2.4k 收藏 3
点赞数
分类专栏： AI算法 文章标签： stable diffusion AIGC
于 2023-08-17 21:00:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/orangerfun/article/details/132240292
版权
本文详细介绍了Stable Diffusion XL（SDXL）模型的原理和改进，包括更大的Unet backbone、训练技巧如图像尺寸条件化、图像裁剪参数条件、多尺度训练以及refiner模块。相较于前代SD模型，SDXL在图像质量和细节上有显著提升，且在与SOTA模型的比较中表现出色。此外，文章还探讨了SDXL的局限性及未来改进方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

😘关注公众号funNLPer畅读全文😘

技术报告：SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
官方代码：Stability-AI-generative-models
模型权重：HuggingFace-Stability AI
非官方代码：Linaqruf/kohya-trainer
diffuser库：diffusers/pipelines/stable_diffusion_xl

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 5084
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？
python03012的博客
05-14 1320
（全套教程文末领取哈）
Stable diffusion的SDXL模型，针不错！（含实操）
最新发布
ice_99的博客
04-01 1356
朋友们好，今天分享的是Stable diffusion的SDXL模型以及相关实操。前面其实我已经断断续续地介绍过几次Stable diffusion的模型，比如 1.X 和 2.X 模型，但其实在2.X 和 SD3 之间，大概在2023年7月份左右，StableAI 还发布过一个SDXL大模型，也就是今天要分享的主题。
Stable Diffusion XL（SDXL）核心基础知识
weixin_47748259的博客
01-12 1万+
如图所示，相比之前的SD，SDXL的第一个stage采用的是普通的DownBlock2D，而不是采用基于attention的CrossAttnDownBlock2D；SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。SDXL的解决方案：图像裁剪参数条件化策略。SDXL的解决方案：多尺度训练策略。
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
欢迎大家关注我
08-20 1万+
（全网最详细）深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
热门推荐
知来者逆的博客
03-05 1万+
2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。
Stable Diffusion SDXL Beta 模型（中文版） .pdf
05-09
"Stable Diffusion SDXL Beta 模型（中文版）" 是一款正在开发中的先进人工智能图像生成模型。这款模型相较于之前版本，如 v1 和 v2.1，有着显著的改进和增强。SDXL 模型并非最终名称，它是一个更大、参数更多的模型...
使用 Stable Diffusion XL 和 SDXL LoRA，ControlNet 生成图片
大模型
09-28 1235
Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强：1）对于原有 Stable Diffusion 1.5 的 U-Net，VAE，CLIP Text Encode 做了改进；2）在原有模型基础上上增加了一个 Refiner 模型，通过 Refiner 模型来提升图片的精细程度；
本地部署 Stable Diffusion XL Gradio Demo WebUI
engchina的专栏
07-13 1926
本地部署 Stable Diffusion XL Gradio Demo WebUI
实时AI绘画模型SDXL Turbo核心基础知识详解
欢迎大家关注我
12-17 4901
SDXL Turbo模型，让AI绘画领域进入实时出图时代。
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
大雾的小屋的博客
08-03 1676
新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。
Stable Diffusion XL：更快，更强
略懂……略懂……
04-04 3584
总的来说，新模型并没有给我留下深刻印象。MidJourney、Leonardo AI 和 Microsoft Image Generator 仍然有更好看的生成效果。尽管 Stable Diffusion XL 与之前的 AI 模型相比似乎没有显着进步，但它仍然向前迈进了一步，并且肯定还有进一步改进的空间。我期待Stability AI官方能够公布更多细节，而且我坚信最终正式发布的产品会比预览模型更好。
Stable Diffusion - Stable Diffusion WebUI 支持 SDXL 1.0 模型的环境配置
AGI
08-02 5185
SDXL 1.0 版本是 Stable Diffusion 的最新版本，是基于潜在扩散模型的文本到图像生成技术，能够根据输入的任何文本生成高分辨率、高质量、高多样性的图像，具有以下特点：更好的成像质量：SDXL v1.0 版本能够以几乎任何艺术风格生成清晰、逼真、美观的图像，无论是风景、人物、建筑还是动物，都能呈现出细节和色彩，相比于之前的版本有着巨大的提升。更多的艺术风格：SDXL v1.0 版本相比于之前的版本，能够实现更多的风格，并且对于每种风格都能驾驭。
Stable Diffusion——SDXL 1.0原理解析
知来者逆的博客
06-25 1392
SDXL 1.0是Stability AI推出的新基础模型，作为Stable Diffusion的大幅改进版本，它是一个用于文本到图像合成的潜在扩散模型（LDM）。作为Stable Diffusion的最新进化，它正在超越其前身，并与MidjourneySOTA图像生成器相媲美的图像。这些改进源于一系列有意识的设计选择，包括一个3倍大的UNet骨干网络，更强大的预训练文本编码器，以及引入了一个单独的基于扩散的精炼模型。精炼模型使用SDEdit首次提出的后处理图像到图像扩散技术，提高了样本的视觉保真度。
Stable Diffusion升级版SDXL，一键运行包和18G模型分享！
托尼不是塔克
07-17 5695
今天主要分享两个东西，一个是ComfyUI软件包，一个是SDXL的两个模型。有这两个东西就可以快速出图了先来简单介绍一下SDXL的特点。Stable Diffusion XL 或 SDXL 是最新的图像生成模型，与以前的 SD 模型（包括 SD 2.1）相比，它专为更逼真的输出而定制，具有更详细的图像和构图。借助 Stable Diffusion XL，您现在可以通过改进的脸部生成来制作更逼真的图像，在图像中生成清晰的文字，并使用更短的提示创建更美观的艺术作品。
Stable Diffusion 开源模型 SDXL 1.0 发布
云水木石
07-28 4655
关于 SDXL 模型，之前写过两篇：Stable Diffusion即将发布全新版本Stable Diffusion XL 带来哪些新东西？一晃四个月的时间过去了，Stability AI 团队终于发布了 SDXL 1.0。当然在这中间发布过几个中间版本，分别是 SDXL beta 和 SDXL 0.9。相较于 SDXL 0.9 的仅供研究的版本，这次的完整版本进步明显，是目前最好的开放图像生成模...
stable diffusion xl镜像
01-27
### Stable Diffusion XL 镜像文件下载资源 对于希望获取并安装Stable Diffusion XL (SDXL) 的用户来说，了解如何找到可靠的镜像文件或资源至关重要。通常情况下，官方渠道是最安全的选择。 #### 官方GitHub仓库 最推荐的方式是从官方GitHub页面下载所需的模型权重和其他必要组件。这不仅能够确保获得最新版本，还能减少遇到潜在风险的可能性[^2]。 ```bash git clone https://github.com/Stability-AI/stablediffusion-xl.git cd stablediffusion-xl ``` #### 使用WebUI工具自动加载 考虑到手动配置可能较为复杂，可以考虑利用`stable-diffusion-webui`这类图形界面工具来简化过程。该工具支持一键导入多种不同版本的Stable Diffusion模型，包括最新的SDXL变体。按照特定指南调整克隆命令以适应项目结构变化： ```bash mv stable-diffusion-webui-master stable-diffusion-webui ``` 之后，在启动webui之前，记得通过设置选项指定要使用的具体模型路径，从而让程序自动处理剩余的工作[^3]。 #### 第三方托管平台 除了直接从开发者处取得外，一些知名的云存储服务也可能提供由社区成员上传的预训练模型副本。然而需要注意的是，尽管这些来源有时能加快下载速度，但在使用前务必验证其合法性和安全性。 为了进一步优化体验以及充分利用SDXL带来的更高分辨率优势，建议关注相关论坛和技术博客上的更新信息，以便及时掌握任何新的进展或提示[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值