字节跳动发布SDXL-Lightning模型，支持WebUI与ComfyUI双平台，只需一步生成1024高清大图！

已于 2024-04-23 12:20:16 修改
阅读量1.8k 收藏 20
点赞数 33
文章标签： 人工智能 comfyui ai绘画
于 2024-03-05 07:32:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joshesye/article/details/136446695
版权
SDXL-Lightning是由字节跳动发布的文本到图像生成模型，提供WebUI与ComfyUI平台，简化生成1024px高清图像的流程。用户可通过在线体验或下载模型进行操作，支持Lora和ComfyUI两种使用方式，可在几秒钟内生成高质量图像。
摘要由CSDN通过智能技术生成

字节跳动发布SDXL-Lightning模型，WebUI与ComfyUI平台，只需一步生成1024高清大图，需要的步数比 LCM 更低了！

什么是SDXL-Lightning：

SDXL-Lightning 是一种快速的文本到图像生成模型。SDXL-Lightning模型的核心优势在于其创新的蒸馏策略，它可以通过几个步骤生成高质量的 1024px 图像。

开源项目地址：

https://huggingface.co/ByteDance/SDXL-Lightning

Demo地址：

https://huggingface.co/spaces/AP123/SDXL-Lightning


目前 SDXL-Lightning 提供了 1步，2步，4步和8步的蒸馏模型 和 2步，4步和8步 的 Lora 模型（类似LCM）。

在线体验

官网：https://huggingface.co/spaces/AP123/SDXL-Lightning

了解本专栏 订阅专栏 解锁全文 超级会员免费看
细节控-AI先行者
关注
专栏目录
订阅专栏
ComfyUI 基础教程（七）：SDXL标准工作流
细节控-AI先行者的博客
12-27 1646
然而，值得注意的是，在step control模块里，steps模块控制着总步数。而end at step模块的步数则是指在base模型生成的步数后，剩余步数开始使用refiner模型进行生成。这一步的灵活性，使得我们可以根据不同的场景进行微调，更好地满足我们的需求。SDXL模型最为高效的表现是在1024乘1024分辨率及以上，这能够保证我们获得更为清晰和令人满意的效果。首先，我们需要导入SDXL模型，在两个 checkpoint加载器模块，分别添加base模型和refiner模型。
一步出图确实快 部署字节SDXL-Lightning模型
gangkeji的博客
03-08 1388
SDXL-Lightning 是一个由 ByteDance（字节跳动） 开发的文生图微调模型，其主要贡献在于其高速的生成能力和轻量化的设计，有关模型和论文也都已经开源。
字节跳动发布SDXL-Lightning开源模型：秒级生成1024高清大图，效果超Turbo&LCM
nulifancuoAI的博客
02-26 1091
在当前AI和机器学习的热潮中，生成式AI模型正成为技术前沿的热点。字节跳动最新发布的SDXL-Lightning模型，不仅在社区中引起了广泛的关注，更是在速度和质量上实现了新的突破。本文将详细介绍SDXL-Lightning模型的技术特点、性能表现以及其对开源社区的贡献。
SDXL-Lightning容器构建指南
SJJS_1的博客
09-10 817
SDXL-Lightning 项目是由字节跳动开发的一个创新性的 AI 图像生成项目，该项目通过采用全新的蒸馏战略，优化了扩散模型，实现了从文字到高清图像的快速、高质量生成。文章详细介绍了如何构建该模型。
字节出品SDXL-Lightning：文生图开放模型新突破
人工智能前沿分享
07-12 890
生成模型的研究中，文本到图像的生成一直是一个充满挑战的任务。传统的扩散模型虽然在生成质量上取得了显著的成果，但其生成过程往往需要大量的迭代步骤，这不仅导致计算成本高昂，而且生成速度缓慢，难以满足实时或近实时应用的需求。随着技术的发展和应用场景的不断扩展，如何在短时间内生成高质量、高分辨率的图像样本，已成为该领域亟待解决的关键问题。在这样的背景下，SDXL-Lightning模型的出现，为文本到图像的生成任务带来了革命性的突破。
ComfyUI AnimateDiff-Lightning 教程
JayLee的技术博客
07-07 536
项目主页： https://huggingface.co/ByteDance/AnimateDiff-Lightning在线测试（有墙）： https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning国内镜像：https://hf-mirror.com/ByteDance/AnimateDiff-Lightning。
AI新工具(20240222)SDXL-Lightning-节跳动开发一个快速的文本到图像生成模型；GoEnhance - 视频风格转换等
haleycat的博客
02-22 2534
SDXL-Lightning是字节跳动开发一个快速的文本到图像生成模型，能够在几个步骤内生成高质量的1024像素图像。该模型发布用于研究目的，可以从stabilityai/stable-diffusion-xl-base-1.0中提取模型。SDXL-Lightning提供了1步、2步、4步和8步不同训练步数的模型。其中2步、4步和8步模型的生成质量非常出色，而1步模型则更多用于实验目的。Gemma是一系列轻量级、先进的开放式模型，采用了与创建Gemini模型相同的研究和技术构建而成。
sdxl-lightning-8step-lora.safetensors
07-23
字节跳动的 SDXL-LIGHTNING，8步并作一步走。 可放在comfyui\models\loras下。
Controlnet SDXL最新模型-.safetensors文件包合集
03-07
Controlnet SDXL是一种先进的AI模型，专为稳定扩散（Stable Diffusion）技术设计，用于在图像生成过程中精细控制人物的动作和姿势。该模型的最新版本集合在一个名为".safetensors"的文件包中，这表明它采用了安全的...
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
02-23
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
SDXL-Lightning：字节SDXL加速方案，一步生成1024高清大图，击败SDXL-Turbo，LCM-LoRa
二度
02-27 2347
对于渐进式蒸馏的基本方式，是计算teacher-student之间的MSE损失，teacher是使用多个step达到的结果，作为蒸馏的模型，蒸馏到更少步数的students中，一旦学生模型收敛，它就被用作教师模型，并重复蒸馏过程。建立对抗性判别器，计算来自teacher在输入xt和条件c下产生的x(t-ns)的概率，使用非饱和的对抗损失，交替训练判别器和学生模型，鼓励students模型的预测结果x’(t-ns)更接近于teacher模型的预测结果x(t-ns)。使用 MSE时，它表现出模糊的结果。
【深度学习】SDXL-Lightning 体验，gradio教程，SDXL-Lightning 论文
q742971636的博客
02-28 1364
渐进蒸馏还带来了另一个好处，即对于多步采样，我们的模型预测ODE轨迹上的下一个位置，而不是每次跳到ODE轨迹的端点，这更好地保留了原始模型行为，并促进了与LoRA模块和控制插件的更好兼容性。我们讨论了稳定对抗训练的技术。一致性轨迹模型（CTM）增加了对抗性损失，并支持跳转到任意流位置，但对抗性训练是在蒸馏后应用的，而不是在蒸馏过程中应用的，而且该方法尚未应用于大规模的文本到图像模型。我们的工作受到这种方法的启发，我们提供了我们的蒸馏模型作为LoRA，以便进行方便的插拔，并且作为完整模型以获得更好的质量。
Comfyui系列教程 | 基于SDXL模型的风格转换工作流（附工作流）
qq_45500095的博客
06-08 2460
主要设置的是CLIP语义分割部分的【阈值】，阈值越低，遮罩选取的主体的部分越大（精细），如果你想要保证主体没有变化，就要设置比较低的阈值，当阈值为1时，则相当于没有增加遮罩，可以改变迁移整个图片的风格。这个工作流是基于SDXL模型，出图效果非常好，通过这个工作流，你可以将参考图的风格无缝地迁移到生成的图片上。这个工作流是基于SDXL模型，出图效果非常好，通过这个工作流，你可以将参考图的风格无缝地迁移到生成的图片上。根据加载的素材图片，参考图片的配色、色调、画风等，使创建出的新图片具有和原图的相似性。
AIGC——ComfyUI使用SDXL双模型的工作流（附件SDXL模型下载）
知来者逆的博客
03-23 2598
SDXL和之前的版本也是基于latent diffusion架构，对于latent diffusion，首先会采用一个autoencoder模型来图像压缩为latent，然后扩散模型用来生成latent，生成的latent可以通过autoencoder的decoder来重建出图像。SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时采用了EMA。重新训练的VAE模型（尽管和VAE有
使用Stable Diffusion、ComfyUI和SDXL 从任何文本提示中生成逼真的艺术图像
03-12 161
在本课程中，您将学习如何使用Stable Diffusion、ComfyUI和SDXL，这三个强大的开源工具可以从任何文本提示中生成逼真的艺术图像。您将发现潜在扩散模型背后的原理和技术，这是一种新的生成模型，可以在几秒钟内生成高质量的图像。您还将探索SDXL，这是下一代稳定扩散模型，可以生成比以往任何时候都更详细、分辨率更高、更智能的图像。本课程适合任何对AI图像合成感兴趣的人，无论你是具有稳定扩散先验知识的人，还是ComfyUI的初学者，或者是希望了解和理解更多内容的ComfyUI中级学习者。
AI绘画Stable Diffusion速度与质量的革新：揭秘SDXL-Lightning绘画模型！
白帽阿叁的博客
04-19 998
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
最新发布
ai_xiaogui的博客
11-07 585
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
自用服务器SDWebUI搭建全攻略：环境配置与模型添加
- SDXL模型的添加：在相同目录下放置`sd_xl_base_1.0.safetensors`权重，并在`VAE-approx`模块下存放`vaeapprox-sdxl.pt`模型文件。 4. **运行设置**： - 为了允许本地和远程访问，需要在`webui-user.sh`中添加`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

细节控-AI先行者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值