Diffusers代码学习：加载适配器

有几种用于个性化扩散模型以生成特定主题的图像或特定风格的图像的训练技术。每种训练方法都会产生不同类型的适配器。一些适配器生成一个全新的模型，而其他适配器只修改一组较小的嵌入或权重。这意味着每个适配器的加载过程也不同。

DreamBooth仅在一个主题的几个图像上微调整个扩散模型，以在新的风格和设置中生成该主题的图像。这种方法是通过在提示中使用一个特殊的单词来实现的，即模型学习与主题图像相关联。在所有的训练方法中，DreamBooth生成的文件大小最大（通常只有几GB），因为它是一个完整的检查点模型。

下面加载herge_style检查点，该检查点仅在Hergé绘制的10张图像上进行训练，以生成该样式的图像。要使其工作，需要在提示中包含特殊单词herge_style以触发检查点。

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
rom diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained("sd-dreambooth-library/herge-style", torch_dtype=torch.float16).to(
    "cuda")
prompt = "A cute herge_style brown bear eating a slice of pizza, stunning color scheme, masterpiece, illustration"
image = pipeline(prompt).images[0]
image.save("load.jpg")

AIGC应用97

AIGC应用 · 目录

上一篇Diffusers代码学习：TCD Lora AnimateDiff