为什么使用SDXL-学习笔记

最新推荐文章于 2024-08-20 10:30:03 发布
最新推荐文章于 2024-08-20 10:30:03 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： Stable diffusion 文章标签： 人工智能 计算机视觉 深度学习 stable diffusion AIGC python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FeMnsword/article/details/132984021
版权
SDXL是一种先进的AI图像生成模型，能生成可读文本和更准确的人体解剖，提供多种艺术风格，并能理解简短的提示词。相较于前代，SDXL在人体构造、艺术风格和提示词理解上有显著提升，适用于创意设计和图像生成任务。
摘要由CSDN通过智能技术生成

最近开始学习SDXL，这里就作为自己的一些学习笔记分享。

SDXL的官网的介绍

什么是SDXL

是最新的AI图像生成模型,它可以生成逼真的人脸、图像内可读的文本,并具有更好的图像构图能力,所有这些只需要使用更短更简单的提示词。就像它的前辈模型一样,SDXL可以通过图像到图像的提示、inpainting(重新想象图像选定部分)和outpainting(创建新的超出图像边界之外的部分)来生成图像变体。

SDXL当前可以通过DreamStudio和其他图像生成应用如NightCafe Studio和ClipDrop获取。SDXL模型可以在HuggingFace上下载。

五大优点

Legible text
One of the most significant differences between SDXL and the rest of AI image generation models (except for Deep Floyd), is that it can generate legible text. It wasn’t possible in the previous SD or any other models.

TSDXL与其他AI图像生成模型(Deep Floyd除外)最明显的区别之一是,它可以生成可读的文本。这在之前的SD或任何其他模型中都是不可能的。图像上的文本并不总是正确的,但它领先于大多数其他AI艺术模型一光年。生成legible text是AI对语言理解和语义生成的一个重要测试。在图像文本生成方面,过去AI生成的文本往往难以辨认。现在一些新模型如SDXL能生成可读清晰的文本,这是图像生成领域的重大突破。这为AI在更多语言生成任务中的应用提供了可能。

使用提示词：a beautiful girl wearing a black t-shirt with white charactors "SDXL" on it

1.5模型出的图很难准确出现完整的SDXL

SDXL出了两张&#

最低0.47元/天 解锁文章
FeMnsword
关注
专栏目录
sora学习笔记
jacke121的专栏
09-25 176
sora学习笔记
Stable Diffusion升级版SDXL，一键运行包和18G模型分享！
托尼不是塔克
07-17 5226
今天主要分享两个东西，一个是ComfyUI软件包，一个是SDXL的两个模型。有这两个东西就可以快速出图了先来简单介绍一下SDXL的特点。Stable Diffusion XL 或 SDXL 是最新的图像生成模型，与以前的 SD 模型（包括 SD 2.1）相比，它专为更逼真的输出而定制，具有更详细的图像和构图。借助 Stable Diffusion XL，您现在可以通过改进的脸部生成来制作更逼真的图像，在图像中生成清晰的文字，并使用更短的提示创建更美观的艺术作品。
（2023，微调节，多纵横比训练，细化模型）SDXL：用于高分辨率图像合成的改进的潜在扩散模型
qq_44681809的博客
09-19 2111
本文提出一种改进的用于文本到图像合成的潜在扩散模型 SDXL。与之前的稳定扩散相比，SDXL 利用了三倍大的 UNet 主干，设计了多种新颖的调节并在多种纵横比上训练。 还引入一种提高生成保真度的细化模型。
Stable diffusion的SDXL模型，针不错！（含实操）
最新发布
z19981的博客
08-20 775
朋友们好，今天分享的是Stable diffusion的SDXL模型以及相关实操。前面其实我已经断断续续地介绍过几次Stable diffusion的模型，比如 1.X 和 2.X 模型，还有[6月12号即将开源的SD3（2B）模型]，但其实在2.X 和 SD3 之间，大概在2023年7月份左右，StableAI 还发布过一个SDXL大模型，也就是今天要分享的主题。
sd 模型笔记之 SDXL
技术宅男改变世界
10-30 328
对于AI绘画来说，画手一直是非常难的，不过，很多大模型加入了大量的手部训练，能够让效果好一些。像吉他这种高难度展示手部的画面，是AI绘画中的顶级难度。C站有个创作者Copax，他创作了许多模型和LoRA，其中有一个SDXL1.0的模型非常受欢迎，叫Copax TimeLessXL。这个SDXL1.0的模型更新到了8.0，C站下载量也达到了高达52K，成为最受欢迎的真实模型之一。TimeLess的字面意思是永恒，不过有一首英文歌也是TimeLess，歌词大意是唯爱永恒。
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
大雾的小屋的博客
08-03 1492
新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。
AIGC——ComfyUI使用SDXL双模型的工作流（附件SDXL模型下载）
知来者逆的博客
03-23 2478
SDXL和之前的版本也是基于latent diffusion架构，对于latent diffusion，首先会采用一个autoencoder模型来图像压缩为latent，然后扩散模型用来生成latent，生成的latent可以通过autoencoder的decoder来重建出图像。SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时采用了EMA。重新训练的VAE模型（尽管和VAE有
【Stable Diffusion】：SDXL1.0大模型的发布给SD带来全新的使用体验
Pythonxiaoxin6的博客
05-22 1575
（全套教程文末领取哈）
谷歌JAX快速入门笔记详解和案例
热门推荐
数据知道的博客
09-19 2万+
JAX最初由谷歌大脑团队的 Matt Johnson、Roy Frostig、Dougal Maclaurin 和 Chris Leary 等人发起，借助 Autograd 的更新版本，并且结合了 XLA，可对 Python 程序与 NumPy 运算执行自动微分，支持循环、分支、递归、闭包函数求导，也可以求三阶导数；依赖于 XLA，JAX 可以在 GPU 和 TPU 上编译和运行 NumPy 程序；通过 grad，可以支持自动模式反向传播和正向传播，且二者可以任意组合成任何顺序。
【图像复原】论文精读：Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration
畅游计算机视觉的海洋
04-19 1776
我们介绍了 SUPIR（缩放-UP 图像恢复），这是一种开创性的图像恢复方法，它利用生成先验和模型放大的力量。利用多模态技术和先进的生成先验，SUPIIR标志着智能和真实的图像恢复。作为SUPIR中的关键催化剂，模型缩放极大地增强了其能力，并展示了图像恢复的新潜力。我们收集了一个包含 2000 万个高分辨率、高质量图像的数据集进行模型训练，每个数据集都丰富了描述性文本注释。SUPIR提供了恢复文本提示引导的图像的能力，扩大了其应用范围和潜力。此外，我们引入了负质量提示来进一步提高感知质量。我们还开发了一种恢
【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
AI天才研究院
03-09 932
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
Stable Diffusion XL搭建
benben044的专栏
10-12 5969
介绍了SDXL的安装过程，涉及webui工程下载、base基础模型、refiner模型、vae模型的安装。
stable diffusion深度解析｜sd1.5、sdxl、checkpoint、lora 含义与原理
z19981的博客
08-07 2408
大家好，我是Lison，接触AI绘画以来，发现很多时候对一些基础词汇理解地很模糊，然后在搭建comfyui工作流时，只能知其然，不知其所以然的感觉，也不知搭选哪个模型，很多时候都是照猫画虎地模仿，很难受。而且，很多时候，网上找不到详细地教程来详细解释这些含义。好在我周围有很多算法同学，在跟他们交流中，对一些基础词汇有了比较深刻的了解，在这里做了个分享。SDXL、SD1.5是什么意思checkpoint、lora是什么意思checkpoint和lora的区别。
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
欢迎大家关注我
08-20 5410
（全网最详细）深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。
SDXL 你一定要试试！ - 如何在云端运行 SDXL
OlivioSarikas的博客
08-12 383
SDXL 模型探索：惊人效果与低成本使用指南 本文介绍了一些令人惊叹的 SDXL 模型，并提供了一种即使使用旧电脑也能使用 SDXL 的方法。 低成本使用 SDXL 的方法： 作者推荐使用 RunDiffusion 服务，该服务提供专属 GPU，并预装了 Automatic 11.11、ConfUI、Invoke AI 等多种 UI 工具。 RunDiffusion 按小时计费，价格实惠，但需要...
SDXL 1.0出图效果直逼Midjourney！手把手教你快速体验！
程序员，AI探索者
08-08 1852
最近，Stability AI正式推出了全新的SDXL 1.0版本。经过我的实际测试，与之前的1.5版本相比，XL的效果有了巨大的提升，可以说是全方位的超越。不仅在理解提示词方面表现出色，而且图片的构图、颜色渲染和画面细腻程度都有了很大的进步，实际出图效果堪比Midjourney。此外，该版本还继续采用开源的形式发布，对于喜欢自定义生成图片的用户来说是一个极大的福音。
Stable diffusion ComfyUl SDXL模型分批处理 + SDXL prompt styler
软件QA只用在它工作礼貌吗？
08-01 284
工作流内置了两个高级采样器。添加一个元节点，控制两个采样器的总步数（设置为50步），添加一个元节点，控制采样器1的结束步数=采样器2的开始步数（设置为30步）。这样采样器1处理30步以后会停止，转由采样器2继续处理。可以通过控制采样器连接的XL模型，控制出图的效果和风格。
SimpleSDXL：可图模型提前体验，顶配模型&6G低耗&简洁UI&高效速率&多功能一体
2401_85725028的博客
07-25 793
这是一款使用借鉴吸收了Foooucs简洁界面和ComfyUI底层架构运行效率，集合SDXL、腾讯混元DIT、SD3模型一体化体验，以及集成了图像打光、前景溶图、抠图和蒙版等众多功能一体的工具包软件集合体。简而言之，常用的模型和AIGC工具它都应有尽有。kolors 可图模型。SimpleSDXL是支持可图模型绘图的，只是这还是处于开发中未发布状态。可图模型。SimpleSDXL不仅支持可图模型，另外还支持SDXL、SD3、混元DIT模型，已在之前文章讲解。下面是一些SDXL绘图与打光效果演示。
sdxl text encoder
09-01
sdxl使用了两个不同的text encoder，分别是694m的openclip vit-bigG和354m的openai clip vit-l/14。这两个text encoder在sdxl中的倒数第二层提取特征，并将它们进行拼接，拼接后的特征维度为2048。这个拼接后的特征被称为sdxl的context dim。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [SDXL：Improving latent diffusion models for high-resolution image synthesis](https://blog.csdn.net/u012193416/article/details/132390358)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值