Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）

sheex2012

已于 2024-04-27 12:58:37 修改

阅读量5w

点赞数 86

文章标签： stable diffusion AIGC 人工智能 AI作画

于 2024-04-26 21:01:15 首次发布

本文链接：https://blog.csdn.net/sheex2012/article/details/138206606

版权

一、 Stable Diffusion简介

2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛界都注入了新的“AI活力”与“AI势能”。

其中在AI绘画领域，Stable Diffusion当仁不让地成为了开源社区中持续繁荣的AI绘画核心模型，并且快速破圈，让AIGC的ToC可能性比肩移动互联网时代的产品，每个人都能感受到AI带来的力量与影响。Stable Diffusion由CompVis研究人员创建的主要用于文本生成图像的深度学习模型，与初创公司StabilityAI、Runway合作开发，并得到EleutherAI和LAION的支持，它主要用于根据文本的描述产生详细图像，也就是常说的txt2img的应用场景中：通过给定文本提示词（text prompt），该模型会输出一张匹配提示词的图片。例如输入文本提示词：A cute cat，Stable Diffusion会输出一张带有可爱猫咪的图片（如下图）。

Stable Diffusion（简称SD）是AI绘画领域的一个核心模型，与Midjourney不同的是，Stable Diffusion是一个完全开源的项目（模型、代码、训练数据、论文、生态等全部开源），可拓展性强、出图效率高、数据安全保障，这使得其能快速构建强大繁荣的上下游生态，并且吸引了越来越多的AI绘画爱好者加入其中，与AI行业从业者一起推动AIGC领域的发展与普惠。可以说，AI绘画的ToC普惠在AIGC时代的早期就已经显现，这是之前的传统深度学习时代从未有过的。

Stable Diffusion模型基于一个扩散过程，逐步从噪声中恢复出图像信息。在训练阶段，模型会学习如何逐步将噪声转化为真实的图像数据；而在生成阶段，模型则可以从随机噪声出发，通过反向的扩散过程，生成出与训练数据分布相似的图像。Stable Diffusion主要由变分自编码器（VAE）、U-Net和一个文本编码器三个部分组成。在前向扩散过程中，高斯噪声被迭代地应用于压缩的潜在表征。每个去噪步骤都由一个包含残差神经网络（ResNet）的U-Net架构完成，通过从前向扩散往反方向去噪而获得潜在表征。最后，VAE解码器通过将表征转换回像素空间来生成输出图像。

我们可以通过官方网站 Stability AI，以及Dream Studio、Replicate、Playground AI 、Baseten等网站在线体验Stable Diffusion的巨大威力。但是，一方面国外的网站访问毕竟还是不方便（经常需要科学上网，你懂的），另一方面也不想让自己的一些“幼稚”想法被他们“窃取”。相比于集成在网络平台的SD或者其他AI绘画平台来说，自部署平台没有生成数量的限制，不用花钱，不用被NSFW约束，生成时间快，不用排队，自由度高，而且功能完整，插件丰富，可以调试和个性化的地方也更多；更稳定，也更容易让SD变成生产力或者商业化使用。既然这样，那就自力更生，在本机上自己部署一个，可以随心所欲地玩图、玩图...。

二、Stable Diffusion v2安装

1. 安装前的准备

现有深度学习训练和部署环境在硬件上一般基于Nvidia GPU，在底层需要显卡驱动和CUDA工具包（需要包含配套版本的cuDNN），在应用软件层面需要Python编译和解释器，以及基于Python的深度学习框架（如Pytorch、TensorFlow等）。同时，为了方便代码自动下载和程序模块化管理，通常还需要安装git和conda软件。笔者（Sheex2012）主机配备了RTX 4070Ti 12G显卡，并事先安装了CUDA 12.1，Python 3.11.6，git 2.44，Pytorch 2.1.2，能够满足Stable Diffusion环境要求。本文重点聚焦Stable Diffusion推理程序的部署，硬件需求确认和基础软件的安装这里不再赘述。

2. 下载和部署Stable Diffusion

我们从Stability.AI的github官方开源Stability.AI Stablediffusion下载源码：

git clone https://github.com/Stability-AI/stablediffusion.git

当然，也可以从网页上以下载源码ZIP包，解压缩到本地。

源码下载完成后，接下来需要安装项目的依赖项：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

然后从huggingface下载预训练模型v2-1_768-ema-pruned.ckpt，并存放到checkpoints文件夹中。

3. 运行Stable Diffusion

部署完成后，运行下述脚本，生成图片：

python ./scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./checkpoints/v2-1_768-ema-pruned.ckpt --config ./configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768

可是，报错了：