小米发布SDXS模型，比SDXL快60倍！可“实时”生图~?

前言

hello，大家好**

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

SDXS-GPU-Demo体验链接：https://huggingface.co/spaces/ameerazam08/SDXS-GPU-Demo

SDXS作为一种新的扩散模型，其在图像处理领域的优势和创新特点非常显著。通过模型微型化和减少采样步骤，SDXS大幅降低了模型延迟，实现了高速的图像生成和处理。同时，利用知识蒸馏技术，SDXS简化了U-Net和图像解码器架构，进一步提升了模型性能。小米推出了SDXS两种模型：SDXS-512 和 SDXS-1024，在单个 GPU 上分别实现了约100 FPS（比 SD v1.5 快 30 倍）和30 FPS （比 SDXL 快 60 倍）的推理速度。

对于用户而言，SDXS带来的最大好处是能够快速生成高质量图像，同时支持图像条件控制生成，提供了更灵活的操作选项。无论是图像上色、重构，还是老照片自动上色，SDXS都能提供高效、高质量的处理效果。

关键功能

高速图像生成：SDXS 提供高速的图像生成功能，节省用户时间和操作成本。

**图像条件控制生成：**支持图像条件控制生成，提供更灵活的操作选项。

**单步训练：**通过单步训练技术，优化了图像处理的效率和速度。

实际应用

**图像生成：**使用 SDXS-512 生成风景图片等高质量图像。

**图像上色和重构：**利用 SDXS 对草图图像进行上色和重构操作。

**老照片自动上色：**使用 SDXS 将黑白老照片自动上色，使其焕发新生。

**其他图像处理任务：**SDXS 还可用于其他图像处理任务，提供高效、高质量的处理效果。

概述

假设图像生成时间限制为1秒，那么SDXL只能使用16个NFE来生成稍微模糊的图像，而SDXS-1024可以生成30个清晰的图像。此外，小米提出的方法还可以训练 ControlNet。

方法

模型加速

小米训练一个极其轻量级的图像解码器，通过输出蒸馏损失和 GAN 损失的组合来模仿原始 VAE 解码器的输出。小米还利用块去除蒸馏策略来有效地将知识从原始 U-Net 转移到更紧凑的版本。

SDXS 的效率远远超过基础模型，甚至可以在 GPU 上以 100 FPS 的速度生成 512x512 图像，以 30 FPS 的速度生成 1024x1024 图像。

文本转图像

为了减少 NFE，小米建议拉直采样轨迹，并通过用所提出的特征匹配损失替换蒸馏损失函数，快速将多步模型微调为一步模型。然后，小米扩展了 Diff-Instruct 训练策略，使用所提出的特征匹配损失的梯度来替换时间步后半部分由分数蒸馏提供的梯度。

尽管模型尺寸和所需采样步骤数均显著减小，但 SDXS-512 的提示跟踪能力仍然优于 SD v1.5。这一观察结果在 SDXS-1024 的性能中也得到了一致的验证。

图像到图像

小米将他们提出的训练策略扩展到 ControlNet 的训练，依靠将预训练的 ControlNet 添加到评分函数中。

小米展示了它在利用 ControlNet 促进图像到图像转换方面的功效，特别是涉及精明边缘和深度图的转换。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以点击下方免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。