Diffusers代码学习-scheduler

Diffusers的核心就是models(模型)和schedulers(调度器)。换一种说法，Diffusers实际上就是任意组合的models和schedulers形成的管道。

直观上理解的话scheduler就是一个sampler（采样器），因此在工具中选择采样器，对应的就是选择不同版本的scheduler。scheduler不同版本包括DDPM，DDIM，DPM++ 2M Karras等。推荐常用的是DPM++ 2M Karras。

由于这部分使用操作相对简单，所以我们通过代码看一下在原有的基础上是如何引入了schedulers，也就可以简单了解在工具中使用采样器背后的逻辑。相对与前期代码不同的内容标粗显示。

# 以下代码为程序运行进行设置
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
import torch
# 以下代码会引入DDIMScheduler
from diffusers import DDIMScheduler, DiffusionPipeline

# 以下代码加载DDIMScheduler
ddim = DDIMScheduler.from_pretrained("dreamlike-art/dreamlike-photoreal-2.0", subfolder="scheduler")
pipeline = DiffusionPipeline.from_pretrained(
    "dreamlike-art/dreamlike-photoreal-2.0", scheduler=ddim, torch_dtype=torch.float16, use_safetensors=True
).to("cuda")

# 以下代码加载并处理提示词
prompt = "cinematic photo of Godzilla eating sushi with a cat in a izakaya, 35mm photograph, film, professional, 4k, highly detailed"
generator = torch.Generator(device="cpu").manual_seed(57)

# 以下代码由提示词生成图片
image = pipeline(prompt, generator=generator).images[0]

image.show()

在Easy Diffusion中的使用很简单，就不单独写一篇文中介绍了。

在采样器（Sampler）的下拉菜单中选择DPM++ 2M （Karras） 即可。