Low-Rank Adaptation (LoRA)是一种流行的训练技术,因为它速度快,生成的文件大小较小(几百MB)。LoRA可以训练模型从几个图像中学习新风格。它的工作原理是在Stable Diffusion模型中插入新的权重,然后只训练新的权重而不是整个模型。这使得LoRA训练更快,存储更容易。
LoRA是一种非常通用的训练技术,可以与其他训练方法一起使用。例如,使用DreamBooth和LoRA训练模型是很常见的。加载和合并多个LoRA以创建新的独特图像也越来越普遍。
import os os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" rom diffusers import AutoPipelineForText2Image import torch pipeline = AutoPipelineForText2Image.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16).to("cuda") pipeline.load_lora_weights("ostris/super-cereal-sdxl-lora", weight_name="cereal_box_sdxl_v1.safetensors") prompt = "bears, pizza bites" image = pipeline(prompt).images[0] image.save("load.jpg")