HuggingFace Diffusers项目：深入理解扩散模型调度器(Schedulers)-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00213/article/details/148549324

HuggingFace Diffusers项目：深入理解扩散模型调度器(Schedulers)

notebooks Notebooks using the Hugging Face libraries 🤗 项目地址: https://gitcode.com/gh_mirrors/note/notebooks

什么是扩散模型调度器？

在扩散模型中，调度器(Scheduler)扮演着至关重要的角色。简单来说，扩散模型本身只定义了从噪声到较少噪声样本的前向过程，而调度器则控制着整个去噪过程的策略，包括：

去噪步骤的数量
采用随机性还是确定性方法
使用何种算法寻找去噪样本

调度器的选择往往需要在去噪速度和去噪质量之间做出权衡。不同的调度器会带来不同的生成效果和性能表现，很难定量地说哪种调度器绝对最优，因此实际应用中通常需要尝试多种调度器来找到最适合特定场景的方案。

调度器实践演示

1. 加载基础管道

首先我们需要加载一个基础的扩散模型管道。这里以Stable Diffusion v1.5为例：

from diffusers import DiffusionPipeline
import torch

pipeline = DiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", 
    torch_dtype=torch.float16
)
pipeline.to("cuda")

2. 查看默认调度器

每个管道都有一个默认的调度器，可以通过scheduler属性访问：

print(pipeline.scheduler)

典型的输出会显示当前使用的是PNDMScheduler，包含各种配置参数如训练时间步数、beta起始/结束值等。

3. 生成测试图像

为了比较不同调度器的效果，我们先定义一个测试提示词(prompt)：

prompt = "A photograph of an astronaut riding a horse on Mars, high resolution, high definition."
generator = torch.Generator(device="cuda").manual_seed(8)
image = pipeline(prompt, generator=generator).images[0]
image

4. 切换不同调度器

Diffusers库提供了多种兼容的调度器，可以通过以下方式查看：

print(pipeline.scheduler.compatibles)

常见的调度器包括：

PNDMScheduler
DDIMScheduler
LMSDiscreteScheduler
EulerDiscreteScheduler
EulerAncestralDiscreteScheduler
DPMSolverMultistepScheduler

切换调度器的方法如下：

from diffusers import DDIMScheduler
pipeline.scheduler = DDIMScheduler.from_config(pipeline.scheduler.config)

然后使用同样的prompt和随机种子生成图像进行比较。

主流调度器性能比较

1. PNDMScheduler

默认调度器，稳定性较好但速度较慢，通常需要50步以上才能获得较好结果。

2. DDIMScheduler

去噪扩散隐式模型，相比PNDM可以在更少步数下获得不错的结果。

3. LMSDiscreteScheduler

基于线性多步离散的调度器，通常能产生更高质量的结果：

from diffusers import LMSDiscreteScheduler
pipeline.scheduler = LMSDiscreteScheduler.from_config(pipeline.scheduler.config)

4. EulerDiscreteScheduler和EulerAncestralDiscreteScheduler

这两种调度器特别高效，仅需30步就能获得高质量结果：

from diffusers import EulerDiscreteScheduler
pipeline.scheduler = EulerDiscreteScheduler.from_config(pipeline.scheduler.config)
image = pipeline(prompt, generator=generator, num_inference_steps=30).images[0]

5. DPMSolverMultistepScheduler

当前性能最佳的调度器之一，仅需20步就能获得优异结果：

from diffusers import DPMSolverMultistepScheduler
pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)
image = pipeline(prompt, generator=generator, num_inference_steps=20).images[0]

JAX/Flax环境下的调度器

对于使用JAX/Flax框架的用户，切换调度器的方法略有不同。以下是使用DPMSolverMultistepScheduler的完整示例：

import jax
import numpy as np
from flax.jax_utils import replicate
from flax.training.common_utils import shard
from diffusers import FlaxStableDiffusionPipeline, FlaxDPMSolverMultistepScheduler

model_id = "runwayml/stable-diffusion-v1-5"
scheduler, scheduler_state = FlaxDPMSolverMultistepScheduler.from_pretrained(
    model_id,
    subfolder="scheduler"
)
pipeline, params = FlaxStableDiffusionPipeline.from_pretrained(
    model_id,
    scheduler=scheduler,
    revision="bf16",
    dtype=jax.numpy.bfloat16,
)
params["scheduler"] = scheduler_state

需要注意的是，目前并非所有调度器都有Flax实现。