一步出图确实快部署字节SDXL-Lightning模型

最新推荐文章于 2024-05-31 21:05:05 发布

gangkeji

最新推荐文章于 2024-05-31 21:05:05 发布

阅读量1.1k

点赞数 12

文章标签： stable diffusion

本文链接：https://blog.csdn.net/gangkeji/article/details/136566127

版权

这篇文章介绍了字节跳动发布的SDXL-Lightning模型，其采用渐进式对抗蒸馏技术，显著提高了生成高质量图像的速度。文章详细讲解了如何在本地部署该模型，以及在ComfyUI中的使用步骤和自定义工作流创建方法。

摘要由CSDN通过智能技术生成

前段时间字节正式发布了文生图 SDXL-Lightning 微调模型，采用了新的渐进式对抗蒸馏（Progressive Adversarial Distillation）技术，能将计算时间和成本降至此前的十分之一，SDXL-Lightning 能提速 10 倍在 2~4 步内生成高质量及高分辨率的图像。SDXL-Lightning demo 基于 ComfyUI，也同样支持 SD WebUI。本文介绍 SDXL-Lightning 快速生成 1024 高清大图的本地实现方法，体验其超出 SDXL-Turbo 和 LCM 的效果以及在 ComfyUI 中的自建 workflow 的步骤和方法。本文篇幅有所压缩，完整内容请见「博客」，模型也在博客空间备好，无需魔法直接下载。

简介

SDXL-Lightning 是一个由 ByteDance（字节跳动）开发的文生图微调模型，其主要贡献在于其高速的生成能力和轻量化的设计，有关模型和论文也都已经开源。

论文： SDXL-Lightning: Progressive Adversarial Diffusion Distillation
模型： huggingface.co/ByteDance/SDXL-Lightning

当前，SDXL-Lightning 提供了 1步、2步、4步和8步的蒸馏模型和 2步、4步和8步的 Lora 模型（类似LCM），官方 demo 对比见下图。SDXL-Lightning 1、2、4、8步都能表现的非常好，SDXL 则中规中矩，需要 32 步才能完成，而 Turbo 和 LCM 在1步的时候表现的不太稳定，且只能生成 512*512 分辨率的图。

本地部署

首先在Github ComfyUI仓库下载最新的 ComfyUI 包，分为 cuda 118 和 121 不同的版本。结合自身 nvidia cuda 版本下载后解压。

在sdxl-lightning官方发布页，点开「files and versions」就可以下载 1、2、4、8 微调模型或 lora 模型。这里建议下载 all in one 版本，也就是名称为 sdxl_lightning_Nstep.safetensors 的文件。如下图选择即可，可以都下载，也可以仅下载一个对应步数的模型。本文以 4 步模型为例。