Scale-wise Distillation of Diffusion Models 教程

Scale-wise Distillation of Diffusion Models 教程

swd Scale-wise Distillation of Diffusion Models 项目地址: https://gitcode.com/gh_mirrors/swd/swd

1. 项目介绍

Scale-wise Distillation of Diffusion Models（SwD）是一种新颖的框架，用于通过在生成过程中逐步增加空间分辨率来加速扩散模型（DMs）。SwD 实现了显著的加速（2.5×至10×），同时保持或甚至提高图像质量。在人类评估中，SwD 表现出高度竞争力，并且通常超过基线。

2. 项目快速启动

以下是快速启动 SwD 的步骤，确保您已经安装了必要的依赖项。

# 安装 diffusers 和 peft
pip install -U diffusers
pip install -U peft

# 导入必要的库
import torch
from diffusers import StableDiffusion3Pipeline, FlowMatchLCMScheduler
from peft import PeftModel

# 加载预训练模型
pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 加载 SwD 模型
lora_path = 'yresearch/swd-large-6-steps'
pipe.transformer = PeftModel.from_pretrained(pipe.transformer, lora_path,).to("cuda")

# 设置 LCM 调度器
pipe.scheduler = FlowMatchLCMScheduler.from_config(pipe.scheduler.config, shift=1.0)

# 设置尺度因子
pipe.scheduler.set_scale_factors(scale_factors=[1.5, 2.0, 2.5, 3.0, 4.0], upscale_mode='bicubic')

# 生成图像
image = pipe("a cat reading a newspaper", guidance_scale=0.0, generator=torch.Generator().manual_seed(0), width=256, height=256).images[0]

3. 应用案例和最佳实践

• 案例 1： 使用 SwD 生成高分辨率图像，同时保持与全分辨率模型相当的质量。
• 案例 2： 在有限的计算预算内，使用 SwD 超越领先的蒸馏方法。

最佳实践：

• 根据需要调整 scales 和 sigmas 参数以优化生成过程。
• 使用 LCM 调度器以获得更好的性能。

4. 典型生态项目

SwD 已经被集成到 diffusers 库中，可以与 LCM flow matching 调度器配合使用，进一步优化扩散模型。

# 升级到最新版本的 diffusers
pip install -U diffusers

以上就是关于 Scale-wise Distillation of Diffusion Models 的教程，希望对您有所帮助。

swd Scale-wise Distillation of Diffusion Models 项目地址: https://gitcode.com/gh_mirrors/swd/swd