Hyper-SD 基于前沿的 Stable Diffusion 模型加速技术,能够在仅需 1、2、4 或 8 个采样步骤的情况下,高效生成高分辨率大尺寸图像。该技术以 Lora 模型形式发布,完美兼容 SDXL 和 SD1.5 等主流模型架构。
先看官方发布的这个效果对比:Hyper-SDXL出图的质量确实很优秀!
Hyper-SD 介绍
Hyper-SD
由字节跳动开源,使用了神经网络的模型蒸馏技术从
SDXL Base 1.0 和 Stable-Diffusion v1-5 模型中提取出了高质量的图像特征信息。
具体来说,字节团队提出了一种新颖的框架,协同整合了ODE轨迹保持和ODE轨迹重构的优势,既保证了新模型的性能,又提升提升了新模型的效率。
首先,它引入了轨迹分段一致性蒸馏,在预先定义的时间步长段内逐步进行一致性蒸馏,从而从更高层次上促进了原始ODE轨迹的保留。
其次,它将人类反馈学习融入模型,以提升低步长条件下的性能,并减轻蒸馏过程中产生的性能损失。第三,它将评分提炼技术融入其中,进一步提升模型在低步骤生成方面的能力,并首次尝试利用统一的LoRA支持所有步骤的推理过程。
ODE轨迹指的是扩散模型在训练时添加噪声和去燥的过程。ODE轨迹保持指的是训练时尽量复现原模型的ODE轨迹,这样可以尽量保持原模型的性能。ODE轨迹重构指的是训练时在保障新模型输出与原模型相近的前提下,优化ODE轨迹。
Hyper-SD 在 SDXL 和 SD1.5 的1至8步推理过程中均实现了良好性能。例如,在1步推理中,Hyper-SDXL 在CLIP评分上比
SDXL-Lightning 高出0.68,在Aes评分上高出0.51。
安装 Hyper-SD
手动安装
Hyper-SD的安装比较简单,我们只需要在ComfyUI的基础能力上增加一个新的采样调度器,然后再下载相关的模型,就可以了。
模型和工作流下载地址见文末。
使用Hyper-SD
Hyper-SD 的推理加速是通过 LoRA 模型实现的,官方发布了多个 LoRA 模型供我们使用。这里我介绍其中最新的两种 LoRA 模型:Unified
LoRA 和 CFG LoRA。
Unified LoRA
先来看 Unified LoRA(统一LoRA),所谓 统一LoRA 就是我们可以只使用一个模型,就能执行
1-8步的推理,在最低的1步推理下图片质量也是有所保证的,而且随着推理步数的增加,图像中的元素越来越丰富,事物的个性特征也会更加明显。
这个工作流中的节点不多,我这里做了一个简单的标注,如下图所示。文末提供工作流的下载方式。
、
这里有几点注意下:
- TCD采样调度:TCD采样调度器是搭配 Hyper-SD 统一LoRA 模型必备的,它的时间调度是专门调整过的;
- 负向提示词不需要填写;
- CFG引导设置为1;
- 图片尺寸根据所选择的SD模型进行设置,SDXL的图片像素不要低于 1024*1024。
这个模型有什么用?一个字快,比如根据涂鸦实时或准实时生成图片:
CFG LoRA
CFG LoRA 可以让我们使用更强的提示词引导,包括负向提示词。官方训练的模型可以支持5-8的CFG系数。
工作流标注如下:
这里有几点注意下:
1、LoRA模型:选择的是Hyper-SD CFG
LoRA,这里使用的是8步模型,采样步数也要设置为8。最新的有12步模型,图片质量更高一些,但是生成时间也更长。
2、支持反向提示词:比如我们这里的 black hair,就是不要黑色的毛发。
3、采样低矮度还是使用 TCD采样调度器。
4、CFG需要设置为 5-8,具体值需要自己测试,选择适合自己模型和提示词的。
5、图片尺寸根据所选择的SD模型进行设置,SDXL的图片像素不要低于 1024*1024。
资源下载
模型
模型官方下载地址:文末领取!
工作流
同样也是文末领取!
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
