秒级生图，大模型 SDXL-turbo、LCM-SDXL 实战案例来了

已于 2024-03-20 00:20:13 修改
阅读量2.6k 收藏 20
点赞数 9
分类专栏： 大模型 文章标签： 算法 人工智能 文生图 多模态 大模型
于 2024-03-20 00:19:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/136859223
版权

最近一个月，快速生图成为文生图领域的热点，其中比较典型的两种方式的代表模型分别为SDXL-turbo 和 LCM-SDXL。

SDXL-turbo 模型是 SDXL 1.0 的蒸馏版本，SDXL-Turbo 基于一种称之为对抗扩散蒸馏（ADD）的新颖的训练方法，这种方法在扩散模型采样可以减少到1到4步，而生成高质量图像。ADD的训练方式使用score distillation，利用大规模扩散模型作为教师模型，并将其与对抗性损失相结合，即使在1-2步的采样步骤的低步骤状态下，使用对抗学习的方式，引入discriminator来辅助生成质量的把控，也可以确保高质量图像的保真度。

目前，SDXL-turbo 和 LCM-SDXL 均已开源可体验使用，今天我分享二者秒级生图的推理、微调最佳实践，欢迎围观效果！喜欢本文记得收藏、点赞、关注。

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流+CSDN

用通俗易懂的方式讲解系列

环境准备

环境配置与安装

  1. python 3.8及以上版本

  2. pytorch 1.12及以上版本，推荐2.0及以上版本

  3. 建议使用CUDA 11.4及以上

本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G） ：

第一步：点击模型右侧Notebook快速开发按钮，选择GPU环境

图片

第二步：新建Notebook

图片

安装依赖库

pip install diffusers -U

秒级生图模型实践

SDXL-Turbo最佳实践

文生图推理：

from diffusers import AutoPipelineForText2Image
import torch
from modelscope import snapshot_download

model_dir = snapshot_download("AI-ModelScope/sdxl-turbo")

pipe = AutoPipelineForText2Image.from_pretrained(model_dir, torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k"

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]
image.save("image.png")

生成图片：

图片

生成速度1秒以内：

图片

图生图推理：

from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
from modelscope import snapshot_download
model_dir = snapshot_download("AI-ModelScope/sdxl-turbo")
pipe = AutoPipelineForImage2Image.from_pretrained(model_dir,  variant="fp16")

init_image = load_image("image.png").resize((512, 512))

prompt = "grey image"

image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0]
image.save("image1.png")

生成灰白质感的图片：

图片

生成速度：12秒

图片

LCM-SDXL最佳实践

文生图推理：

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch
from modelscope import snapshot_download

model_dir_lcm = snapshot_download("AI-ModelScope/lcm-sdxl",revision = "master")
model_dir_sdxl = snapshot_download("AI-ModelScope/stable-diffusion-xl-base-1.0",revision = "v1.0.9")

unet = UNet2DConditionModel.from_pretrained(model_dir_lcm, torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained(model_dir_sdxl, unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k"


image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0]
image.save("image.png")

生成图片：

2步效果欠佳：

图片

4步效果不错：

图片

4步生成速度1秒多：

图片

微调 LCM-LoRA 在 FaceChain 的最佳实践

FaceChain 是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力、支持资深开发者使用python脚本进行训练推理，也支持在sd webui中安装插件使用。

GitHub链接： https://github.com/modelscope/facechain

FaceChain SDXL模型结合LCM采样器进行推理加速。推理步数由40步减少至8步，推理时间由40s减少至8s。

运行FaceChain WebUI示例代码：

# Step1: 我的notebook -> PAI-DSW -> GPU环境

# Step2: Entry the Notebook cell，clone FaceChain from github:
!GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1

# Step3: Change the working directory to facechain, and install the dependencies:
import os
os.chdir('/mnt/workspace/facechain')    # You may change to your own path
print(os.getcwd())

!pip3 install gradio==3.50.2
!pip3 install controlnet_aux==0.0.6
!pip3 install python-slugify
!pip3 install onnxruntime==1.15.1
!pip3 install edge-tts

# Step4: Start the app service, click "public URL" or "local URL", upload your images to 
# train your own model and then generate your digital twin.
!python3 app.py

在FaceChain的Web-UI demo中，图片推理时，高级选项中采样器选项选择使用LCM采样器，如下图：

图片

生成效果如下：

图片

小编认为，LCM-LoRA在个人数字形象生成这个场景中，表现不如原版SDXL，有一定的图片受损。

总结

本文使用的模型链接：

SDXL-Turbo：

https://modelscope.cn/models/AI-ModelScope/sdxl-turbo

LCM-SDXL：

https://modelscope.cn/models/AI-ModelScope/lcm-sdxl

LCM-LoRA-SDXL：

https://modelscope.cn/models/AI-ModelScope/lcm-lora-sdxl

模型

推理速度

达到较稳定效果的步长

支持lora

支持图生图

SDXL-Turbo

很高

1

否

支持

LCM-SDXL

较高

4

否

不支持

LCM-LoRA-SDXL

较高

4

是

不支持

相关模型链接：

SDXL 1.0：

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0

【深度学习】Adversarial Diffusion Distillation，SDXL-Turbo 一步出图
q742971636的博客
12-03 1364
对于基线，我们使用了最好的公开可用模型：潜在扩散模型[50, 54]（SD1.5 1，SDXL 2），级联像素扩散模型[55]（IF-XL 3），蒸馏扩散模型[39, 41]（LCM-1.5，LCM-1.5-XL 4），以及OpenMUSE[48]，MUSE[6]的重新实现，这是专门为快速推理开发的变压器模型。学生预训练（表1c）。最近，[13]的作者展示了基于分数的模型与GANs之间的强关系，并提出了Score GANs，这些GANs是使用来自扩散模型的基于分数的扩散流进行训练的，而不是使用鉴别器。
sdxl-turbo:adversarial diffusion distillation
liguandong
12-11 708
2.蒸馏，目前包括lcm_lora在内的方法，都是对扩散的去噪过程进行蒸馏，从之前的五十步，三十步道1-4步即可出图。注意文生图算法通常来说，包括两个维度，1.模型架构维度，vae encoder+diffusion+vae decoder，通常再包括一个clip encoder给text侧做embedding，2.扩散理论的加噪和去噪的训练和采样过程，模型架构可以一样，但是在加噪和去噪上同样可以有多种方法的改进，比如采样器，cm，lcm，lcm-lora以及sdxl-turbo这种。
SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？
python03012的博客
05-14 1314
（全套教程文末领取哈）
Stable Diffusion XL（SDXL）核心基础知识
最新发布
m0_59162248的博客
03-11 837
SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。基于以上原因，作为对模型进行了多尺度图像微调。随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
Stable diffusion的SDXL模型，针不错！（含实操）
热门推荐
2401_84760719的博客
06-11 1万+
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式：以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢？简单来说就是能够自动对图像进行优化，提高图像质量和清晰度，减少人工干预的需要。简单来说，SDXL这种设计就是先用基础模型（Base）生成一张看起来差不多的图片，然后再使用一个图像精修模型（Refiner）进行打磨，从而让图片生成的质量更高。
SDXL-Turbo：新一代实时文本到图像生成模型
gitblog_02550的博客
12-12 700
SDXL-Turbo：新一代实时文本到图像生成模型 sdxl-turbo 项目地址: https://gitcode.com/mirrors/stabilityai/sdxl-turbo ...
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5142
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
实时AI绘画模型SDXL Turbo核心基础知识详解
欢迎大家关注我
12-17 4860
SDXL Turbo模型，让AI绘画领域进入实时出图时代。
字节跳动发布SDXL-Lightning模型，支持WebUI与ComfyUI双平台，只需一步生成1024高清大图！
细节控-AI先行者的博客
03-05 2045
SDXL-Lightning 是一种快速的文本到图像生成模型。SDXL-Lightning模型的核心优势在于其创新的蒸馏策略，它可以通过几个步骤生成高质量的 1024px 图像。开源项目地址：Demo地址：目前 SDXL-Lightning 提供了 1步，2步，4步和8步的蒸馏模型 和 2步，4步和8步 的 Lora 模型（类似LCM）。
【深度学习】SDXL-Lightning 体验，gradio教程，SDXL-Lightning 论文
q742971636的博客
02-28 1463
渐进蒸馏还带来了另一个好处，即对于多步采样，我们的模型预测ODE轨迹上的下一个位置，而不是每次跳到ODE轨迹的端点，这更好地保留了原始模型行为，并促进了与LoRA模块和控制插件的更好兼容性。我们讨论了稳定对抗训练的技术。一致性轨迹模型（CTM）增加了对抗性损失，并支持跳转到任意流位置，但对抗性训练是在蒸馏后应用的，而不是在蒸馏过程中应用的，而且该方法尚未应用于大规模的文本到图像模型。我们的工作受到这种方法的启发，我们提供了我们的蒸馏模型作为LoRA，以便进行方便的插拔，并且作为完整模型以获得更好的质量。
【StableDiffusion】SD1.4、1.5、2.0、2.1 和 SDXL0.9-1.0、SDXL turbo 等的区别
励志成为会前后端、运维、云服务、嵌入式开发、AI和自动化技术的创业小老板！
05-28 8298
1.基础sd base model家族：SD1.4、SD1.5、SD1.5-LCM、SD2.0、SD2.0-768、SD2.1、SD2.1-768、SD2.1-UNCLIP2.升级sdxl base model家族：SDXL0.9、SDXL1.0、SDXL1.0-LCM、SDXL-DISTILLED、SDXL-TURBO3.专门用于视频生成的 SVD 家族：SVD、SVD-XT4.最新科研：playground-v2、PixArt-α。
Stable Diffusion 亲测这几个SDXL大模型，真的非常好用！
2401_85688943的博客
06-26 2377
大家好我是极客菌，前两周Stable Diffusion WebUI1.6.0发布了，新增了很多对SDXL生态的支持。而ControlNET也对SDXL的支持也逐渐稳定。SDXL的生态终于有一点起色了，我也觉得是时候，可以来写一篇SDXL的大模型推荐了。在推荐之前，以免大家混淆，所以这里再做一个简单的小科普：现在的所有的SD的大模型，都是基于stability.ai发布的开源模型Stable Diffusion进行微调的，而Stable Diffusion本身有很多个版本。
Stable Diffusion 模型演进：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
2401_84033492的博客
05-21 4046
2021 年 05 月 OpenAI 发表 Diffusion Models Beat GANs，扩散模型（Diffusion Model，DM）的效果开始超越传统的 GAN 模型，进一步推进了 DM 在图像生成领域的应用。不过早期的 DM 都直接作用于像素空间，因此如果要优化一个强大的 DM 通常需要花费数百 GPU 天时，并且因为需要迭代多步，推理的成本也很高。
张嘴就能生图？一分钟教会你使用魔法！（Stable Diffusion进阶：SDXL-Turbo）
2401_85688943的博客
07-01 1417
大家好我是极客菌！！！Stable Diffusion，一款基于深度学习的图像生成模型，以其强大的图像生成能力和个性化风格迁移能力，在艺术创作领域掀起了一场革命。而SDXL-Turbo，作为Stable Diffusion的进阶版本，更是将图像生成推向了新的高度。本文将带你一分钟掌握SDXL-Turbo的使用技巧，让你轻松实现“张嘴就能生图”的魔法境界。SDXL-Turbo是Stable Diffusion的进阶版本，它通过改进的算法和优化，实现了更快的图像生成速度和更高的生成质量。
Diffusers代码学习-SDXL文生图及图生图
duhaining1976的博客
06-14 923
AIGC研究及应用系列
（2023，微调节，多纵横比训练，细化模型）SDXL：用于高分辨率图像合成的改进的潜在扩散模型
qq_44681809的博客
09-19 2498
本文提出一种改进的用于文本到图像合成的潜在扩散模型 SDXL。与之前的稳定扩散相比，SDXL 利用了三倍大的 UNet 主干，设计了多种新颖的调节并在多种纵横比上训练。 还引入一种提高生成保真度的细化模型。
【Stable Diffusion】：SDXL1.0大模型的发布给SD带来全新的使用体验
Pythonxiaoxin6的博客
05-22 2102
（全套教程文末领取哈）
AutoDL 训练SDXL大模型流程整理
ml7yuwanhanhua的博客
10-19 931
AutoDL 训练SDXL大模型流程整理
SDXL-Lightning
02-22
### 关于 SDXL-Lightning 技术文档和资源 #### 项目概述 SDXL-Lightning 是由字节跳动开源的一个基于 PyTorch Lightning 实现的高效训练框架，旨在简化大规模分布式训练过程中的复杂度并提高效率[^1]。 #### 获取源码 该项目托管在 GitCode 上，完整的仓库地址为 [https://gitcode.com/mirrors/bytedance/SDXL-Lightning](https://gitcode.com/mirrors/bytedance/SDXL-Lightning)，开发者可以直接通过该链接访问最新的代码库以及提交问题或贡献代码。 #### 容器化部署指导 对于希望利用 Docker 来加速开发环境搭建的人来说，《SDXL-Lightning容器构建指南》提供了详细的步骤说明。特别是为了加快 Python 包依赖项的安装速度，建议配置国内镜像源来优化 `pip` 的下载体验；例如设置清华 TUNA 镜像作为默认索引 URL 可显著减少等待时间。完成这些准备工作后，按照给定命令依次执行即可启动服务[^5]： ```bash # 设置 pip 使用清华大学镜像站 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 安装必要的Python包 pip install -r requirements.txt pip install gradio pip install modelscope pip install transformers # 启动应用前设定Gradio服务器参数 export GRADIO_SERVER_NAME=0.0.0.0 export GRADIO_SERVER_PORT=8080 python app.py ``` #### 性能对比分析 当考虑不同版本间的性能差异时，Hyper-SD 在多个测试场景下展现了优于其他变体的表现。特别是在单步推理方面，Hyper-SDXL 不仅获得了更高的 CLIP 得分（相比 SDXL-Lightning 提升了0.68），而且审美分数也有所增长（增加了0.51）。这表明 Hyper-SDXL 或许更适合那些追求高质量图像生成的应用场合[^2]。 #### 数据集与预训练模型管理 针对特定任务所需的权重文件存储位置也有清晰指引。比如 VAE 组件对应的浮点数半精度格式的安全张量文件路径被记录下来，方便用户直接加载使用而无需重新训练整个网络结构[^3]: ```plaintext models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors ``` #### 用户界面交互技巧 最后值得一提的是，在实际操作过程中还有一些便捷的操作方法可以帮助用户体验更加流畅。例如批量选择图片进行打包下载的功能——只需按下 Shift 键配合鼠标点击就能轻松实现多选效果，随后右键菜单中会出现“Download”选项供用户快速获取所需素材[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值