1步高清出图，字节开源Stable Diffusion加速模型 Hyper-SD

本文链接：https://blog.csdn.net/2401_85116933/article/details/144285944

Hyper-SD 使用了当前最先进的 Stable Diffusion模型加速，可以在1、2、4、8个采样步骤下生成高质量的大尺寸图片，它通过Lora模型的方式发布，兼容 SDXL 和 SD1.5 的各类模型。

先看官方发布的这个效果对比：Hyper-SDXL出图的质量确实很优秀！

Hyper-SD 介绍

Hyper-SD
由字节跳动开源，使用了神经网络的模型蒸馏技术从
SDXL Base 1.0 和 Stable-Diffusion v1-5 模型中提取出了高质量的图像特征信息。

具体来说，字节团队提出了一种新颖的框架，协同整合了ODE轨迹保持和ODE轨迹重构的优势，既保证了新模型的性能，又提升提升了新模型的效率。
首先，它引入了轨迹分段一致性蒸馏，在预先定义的时间步长段内逐步进行一致性蒸馏，从而从更高层次上促进了原始ODE轨迹的保留。
其次，它将人类反馈学习融入模型，以提升低步长条件下的性能，并减轻蒸馏过程中产生的性能损失。第三，它将评分提炼技术融入其中，进一步提升模型在低步骤生成方面的能力，并首次尝试利用统一的LoRA支持所有步骤的推理过程。

ODE轨迹指的是扩散模型在训练时添加噪声和去燥的过程。ODE轨迹保持指的是训练时尽量复现原模型的ODE轨迹，这样可以尽量保持原模型的性能。ODE轨迹重构指的是训练时在保障新模型输出与原模型相近的前提下，优化ODE轨迹。

Hyper-SD 在 SDXL 和 SD1.5 的1至8步推理过程中均实现了良好性能。例如，在1步推理中，Hyper-SDXL 在CLIP评分上比
SDXL-Lightning 高出0.68，在Aes评分上高出0.51。

安装 Hyper-SD

手动安装

Hyper-SD的安装比较简单，我们只需要在ComfyUI的基础能力上增加一个新的采样调度器，然后再下载相关的模型，就可以了。

模型和工作流下载地址见文末。

使用Hyper-SD

Hyper-SD 的推理加速是通过 LoRA 模型实现的，官方发布了多个 LoRA 模型供我们使用。这里我介绍其中最新的两种 LoRA 模型：Unified
LoRA 和 CFG LoRA。

Unified LoRA

先来看 Unified LoRA（统一LoRA），所谓统一LoRA 就是我们可以只使用一个模型，就能执行
1-8步的推理，在最低的1步推理下图片质量也是有所保证的，而且随着推理步数的增加，图像中的元素越来越丰富，事物的个性特征也会更加明显。

这个工作流中的节点不多，我这里做了一个简单的标注，如下图所示。文末提供工作流的下载方式。

这里有几点注意下：

TCD采样调度：TCD采样调度器是搭配 Hyper-SD 统一LoRA 模型必备的，它的时间调度是专门调整过的；
负向提示词不需要填写；
CFG引导设置为1；
图片尺寸根据所选择的SD模型进行设置，SDXL的图片像素不要低于 1024*1024。

这个模型有什么用？一个字快，比如根据涂鸦实时或准实时生成图片：

CFG LoRA

CFG LoRA 可以让我们使用更强的提示词引导，包括负向提示词。官方训练的模型可以支持5-8的CFG系数。

工作流标注如下：

这里有几点注意下：

1、LoRA模型：选择的是Hyper-SD CFG
LoRA，这里使用的是8步模型，采样步数也要设置为8。最新的有12步模型，图片质量更高一些，但是生成时间也更长。

2、支持反向提示词：比如我们这里的 black hair，就是不要黑色的毛发。

3、采样低矮度还是使用 TCD采样调度器。

4、CFG需要设置为 5-8，具体值需要自己测试，选择适合自己模型和提示词的。

5、图片尺寸根据所选择的SD模型进行设置，SDXL的图片像素不要低于 1024*1024。

资源下载

模型

模型官方下载地址：文末领取！

工作流

同样也是文末领取！

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

请添加图片描述

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。