一、SDXL-Lightning简介
SDXL-Lightning 项目是由字节跳动开发的一个创新性的 AI 图像生成项目,该项目通过采用全新的蒸馏战略,优化了扩散模型,实现了从文字到高清图像的快速、高质量生成。以下是对 SDXL-Lightning 项目的详细介绍:
1.项目背景与特点
- 背景 :随着 AI 绘画技术的不断发展,图像生成的质量和速度成为了重要的研究方向。SDXL-Lightning 项目正是字节跳动在这一领域的重要尝试。
- 特点 :
- 快速生成 :SDXL-Lightning 能够在极短的时间内生成高质量的图像,相较于传统方法,其出图速度有了显著提升。
- 高质量 :项目通过结合渐进式和对抗式蒸馏方法,不仅保证了生成图像的多样性,还显著提升了图像的质量。
- 多样化 :生成的图像覆盖了广泛的图像模式,能够满足不同用户的需求。
2.技术原理
- 扩散模型优化 :SDXL-Lightning 项目采用了结合渐进式和对抗式蒸馏的扩散蒸馏方法,对原有的扩散模型进行了优化。
- 渐进式蒸馏 :保留了原模型的图像风格和种类。
- 对抗式蒸馏 :用于提升图像生成的质量。
- 模型选择 :项目提供了多种步数的蒸馏模型,包括 1 步、2 步、4 步和 8 步等,用户可以根据需求选择合适的模型进行图像生成。
3.应用与效果
- 应用范围 :SDXL-Lightning 项目可以广泛应用于文生图、图生图、局部修复等多种工作流程中。
- 生成效果 :
- 在 2-8 步之间,SDXL-Lightning 的生成效果都非常不错,特别是在 8 步时,其生成图像的质量最为稳定,甚至可以与 SDXL 模型 32 步的生成效果相媲美。
- 即使在 4 步条件下,SDXL-Lightning 的图像质量和风格多样性也远超 Turbo 和 LCM 模型。
4.项目资源
二、模型搭建流程
1.容器镜像一键使用
建议使用RTX3090+24G显卡,使用RTX3060+12G显卡显存不足,结束运行
(1)进入算家云“应用社区”,点击搜索或者找到"SDXL-Lightning",进入该模型详情页后点击“创建应用”,即可进入“租用实例”页面
(2)进入“租用实例”页面后之后会自动匹配模型,选择 3090 卡或 4090 卡,点击“立即创建”即可创建实例
2.进入创建的实例
在“项目实例”页面点击对应实例的“Web SSH”进入终端操作
以下命令均在该页面进行:
(1)打开文件
cd SDXL-Lightning
(2)激活虚拟环境SDXL
conda activate SDXL
(3)指定端口,运行 py 文件(第一次运行需要等待自动下载的部分模型)
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python app.py
出现以下界面即为运行成功:
3.开启外部访问获取访问链接
返回“项目实例”列表,选择并点击对应实例的“开放端口”操作。
有两种访问方式可以选择:本地私密访问和对外开放端口
(1)本地私密访问:选择 ssh 工具访问,登录之后填写各选项,点击“开启代理”
(2)对外开放端口:请按照下图操作
三、网页演示
运行成功后获取访问链接,即可进入 webUI 界面使用:(注意:第一次运行时会自动下载相应的蒸馏模型,下载完成后即可生成结果)
以上就是在算家云搭建 SDXL-Lightning的流程,具体使用方式可进入算家云应用社区查看该模型的使用说明。
复制下方网址,进入算家云,选择模型,一键开启 AI 之旅!
算家云应用社区 https://www.suanjiayun.com/container/#/mirror/?source=CSDN