【扩散模型】从零跑通StableDiffusion/ControlNet/Prompt-diff

AIGC越来越火，基于Stable Diffusion的项目也越来越多，这两天我配置了Prompt-Diff（NIPS 2023）项目链接，再跑`run_prompt_diffusion.ipynb`过程中加载模型一直报错，好歹最后花了老大劲终于成功了（从Huggingface上直接加载模型会报错）。

虽然现在配置SD的Web UI教程特别多，但是如何从GitHub上部署、跑通测试的demo、训练自己的模型的教材相对较少，我也分享一下我自己部署跑demo过程中踩过的坑。（欢迎交流指正批评！）

目录

问题1：Prompt-diff权重

问题2：ControlNet权重

问题3：StableDiffusion文本编码器权重

---

初始项目结构：

问题1：Prompt-diff权重配置

通过上方链接下载好模型权重（network-step=04999.ckpt），放置到models/文件夹下。