生成只需要4step，像lora一样使用LCM

SDXL in 4 steps with Latent Consistency LoRAs

在comfyui里实测LCM lora

原先需要20步一张图，现在20步，4张图。comfyui最新版新增了lcm采样器，支持lcm lora的工作流。

LCM lora模型下载：

huggingface.co/latent-consistency/lcm-lora-sdxl

Latent Consistency Models (LCM)

可以通过将原始模型提炼为另一个版本，从而减少使用稳定扩散（SDXL）生成图像所需的步骤（从原来的25到50步减少到4步）。

提炼是一种训练过程，使用新模型复制源模型的输出。提炼后的模型可以设计得更小（例如DistilBERT或最近发布的Distil-Whisper），或者像LCM一样，可以通过更少的步骤来运行。

通常，这是一个耗时且昂贵的过程，需要大量的数据、时间和GPU。

最新技术：潜在一致性蒸馏（Latent Consistency Distillation）

通过训练一个Lora，这个Lora可以使稳定扩散和SDXL变得更快，就像它们已经使用LCM过程进行提炼一样！

通过此方法可以将模型进行分离蒸馏。在LCM LoRA方法中，只需训练少量的适配器（称为LoRA层），而不是整个模型。得到的LoRA可以应用于任何模型，而无需单独进行蒸馏。

这意味着可以在3090上将任何SDXL模型的运行时间从7秒缩短到1秒，或在Mac上加快10倍！

12月2日，拟在上海开设N3期AIGC训练营。主要围绕ComfyUI来展开，涉及到安装指导、工作流讲解、应用场景研究等等。

训练营包括：

一整套完整工作流（离线、本地可运行）。

安装指导

- ComfyUI的环境配置

- 各种模型下载与配置

- 插件安装

视觉小说工作流讲解

- text-to-image（经典流程）

- controlnet（让图像更为可控）

- ip-adapter（从图像提取概念）

- animatediff（动画生成）

- bark（声音/音乐生成）

- Chatglm3（文本生成）

- Ren'Py（视觉小说编辑器）

早鸟申请 ⬇️