latent-diffusion model测试&训练

latent-diffusion model测试&训练

最近在看ldm，稍微理解了一些原理，开始上手测试，开始栽树，记录一下。

一、测试

# 下载预训练权重(5.7GB):
mkdir -p models/ldm/text2img-large/
wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

# 执行脚本
python scripts/txt2img.py --prompt "a virus monster is playing guitar, oil on canvas" --ddim_eta 0.0 --n_samples 4 --n_iter 4 --scale 5.0  --ddim_steps 50

会下载一个权重、另外会报缺少clip和taming文件，我是仿照参考文献的将下载的放在了新建的src文件夹，生成如下的图片

二、训练

参考资料

1. latent-diffusion model环境配置，这可能是你能够找到的最细的博客了
2. Stable Diffusion 图像生成 攻略二
3. 【渣渣讲课】试图做一个正常讲解Latent / Stable Diffusion的成年人