Diffusers代码学习-SDXL文生图及图生图

默认情况下，SDXL会生成1024x1024图像以获得最佳效果。可以尝试将高度和宽度参数设置为768x768或512x512，但低于512x512的参数不太可能工作。

前面我们已经展示了如何进行文生图（见这里Diffusers代码学习-SDXL）可以看出，对高度和宽带没有做任何设定，输出的图片为1024x1024。

我们也可以使用图生图的方式。对于图生图，SDXL在图像大小介于768x768和1024x1024之间时尤其适用。所以我们可以通过传递初始图像以调节图像宽度和高度，再用提示词决定图像的内容。

# 以下代码为程序运行进行设置

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
rom diffusers import AutoPipelineForText2Image
import torch

# 以下代码引入SDXL模型

pipeline_text2image = AutoPipelineForText2Image.from_pretrained(

"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")

from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image, make_image_grid

# 这里使用from_pipe方法加载checkpoint,避免额外消耗内存
pipeline = AutoPipelineForImage2Image.from_pipe(pipeline_text2image).to("cuda")

# 以下代码加载原始图像

url = "https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/main/diffusers/sdxl-text2img.png"

init_image = load_image(url)

# 以下代码通过原始图像和提示词，通过图生图的方式生成新图像

prompt = "a dog catching a frisbee in the jungle"
image = pipeline(prompt, image=init_image, strength=0.8, guidance_scale=10.5).images[0]

mage.show()

以下为加载的原始图像， 大小为1024*1024

以下为通过原始图像和提示词，通过图生图的方式生成新图像。

大小为1024*1024