让Stable Diffusion秒出图！清华硕士加速神器爆火，已有公司接入

AI图像生成，已经进入了秒速级别，只要4步推理就能完成绘制，最快更是能在1秒之内完成。

现在，清华大学联合HuggingFace的研究人员，推出了全新的绘图模型加速模块。

作者给出的体验版当中，点击生成按钮后，模型只用了几秒钟就绘制出了4张清晰的图像。

这个加速模块叫做LCM-LoRA，发布后不久就斩获了2k+次GitHub星标。

它不仅加速能力强、泛化性能好，适配的模型也很广泛，SD系和LoRA模型都能用它来加速。

团队基于LCM-LoRA自行优化的文生图模型已在HuggingFace上开放体验，图生图模型也推出了CoLab等版本。

AI绘图工具迅速接入

LCM-LoRA开源后不久，就有AI绘图工具厂商Scenario宣布将基于它推出“实时绘图”功能。

Scenario的CEO还在上亲自展示了即将上线的实时绘图功能DEMO。

只见一边在绘制草图，另一边AI就把相应的画作绘制好了，时间上几乎同步。

调整提示词和有关参数，模型响应得也是干脆利落。

这些DEMO发布后，引发了众人的一致赞叹。

那么，LCM-LoRA这个加速模块到底有多强，又是怎样实现的呢？

“跳步”降低内存开销

LCM-LoRA将LoRA引入潜在一致性模型（LCM）的蒸馏过程，显著减少了训练内存开销，从而提高性能。

而LCM是从潜扩散模型（LDM）中蒸馏出来的，“蒸馏”的过程也可以看做是对扩散模型的微调。

它的核心思想是在图像的隐变量空间中学习一致性映射函数，该函数可以直接将扩散过程中的任意点映射到终点，即微分方程的解。

通过这种一致性映射，LCM可以跳过迭代采样过程，直接进行少步甚至一步采样，从而极大地加速了图像的生成。

而隐变量空间操作相比基于像素空间的方法，计算复杂度和内存需求也更低。

结合LoRA后，只需要训练低秩分解矩阵，可训练参数量和内存开销进一步减少，应用范围也从单纯的文生图扩展到了图生图和视频生成。

最直观体现的就是我们看到的秒速出图，而训练时间上，LCM-LoRA优化后的模型在A100上训练只需32个GPU时。

训练时间缩短的背后，也于训练参数量大幅减少密切相关：

• SD-V1.5全量参数为9.8亿，使用LoRA后可训练参数减少到6750万，约减少了93.1%。
• SSD-1B参数从13亿减少到1.05亿，约减少了91.9%。
• SDXL参数从35亿减少到1.97亿，约减少了94.3%。

不仅是训练消耗的降低，推理过程中的步数也大幅减少，一般只需要4步推理就能绘制出质量不错的图像。

有时甚至只要一步就能完成，用时还不到1秒，FID分数（越低越好）在50以下。

不仅加速性能优异，LCM-LoRA的适配性也十分广泛。

LCM-LoRA训练得到的LoRA参数又称为加速向量，可以数据集上微调得到的LoRA参数直接线性组合，不需要额外训练。

这种组合方式使得LCM-LoRA成为一个可直接插接到各种微调模型中的通用图像生成加速模块。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

👉[[CSDN大礼包：《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]（安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

（全套教程文末领取哈）

👉AI绘画必备工具👈

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉大厂AIGC实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉12000+AI关键词大合集👈

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】