Diffusers代码学习：多个LCM Lora

首先，仍然将调度程序替换为[LCM调度程序]。然后，使用[~loader.LoraLoaderMixin.load_lora_weights] 方法来加载LCM-lora权重和要使用的样式lora。通过将两个LoRA适配器与[~loader.UNet2DConditionLoadersMixin.set_adapters]方法结合使用，只需几个步骤即可生成样式图像。

# 以下代码为程序运行进行设置

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
mport torch
from diffusers import DiffusionPipeline, LCMScheduler

pipe = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
variant="fp16",
torch_dtype=torch.float16
).to("cuda")

# 加载LCM scheduler

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# 加载多个Lora权重。注意SDXL模型需要加载SDXL Lora

pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl", adapter_name="lcm")
pipe.load_lora_weights("TheLastBen/Papercut_SDXL", weight_name="papercut.safetensors", adapter_name="papercut")

pipe.set_adapters(["lcm", "papercut"], adapter_weights=[1.0, 0.8])

prompt = "papercut, a cute fox"
generator = torch.manual_seed(0)
image = pipe(prompt, num_inference_steps=4, guidance_scale=1, generator=generator).images[0]
image.show()

以下为输出结果。（和上一节输出略有不同）

AIGC应用61

​