文章介绍了如何在PyTorch中加载和使用StableDiffusion模型进行图像生成，特别是在GPU显存有限的情况下，如何调整精度为float16以节省内存。同时提及了使用预训练的AutoencoderKL进行编码和解码操作。
import torch
from diffusers import StableDiffusionPipeline
model_id = "CompVis/stable-diffusion-v1-4"
device = "cuda"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)
# pipe.enable_attention_slicing()
prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]
image.save("astronaut_rides_horse.png")
如果GPU显存空间有限，可用空间小于4GB，需要确保以float16精度加载StableDiffusionPipeline。
vae = AutoencoderKL.from_pretrained(
"CompVis/stable-diffusion-v1-4",
subfolder="vae",
revision="ebb811dd71cdc38a204ecbdd6ac5d580f529fd8c")
latents = vae.encode(images)
images = vae.decode(latents).sample
446
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
