什么是 Stable Diffusion
我经常听身边朋友提到 ChatGPT、DALL-E 3、Midjourney 用在AI作图,
关于 Stable Diffusion 它又有什么特别的吗。
Stable Diffusion 的优势是它可以在本地计算机上运行,
不需要依赖服务器,并且还是免费的。
那它需要什么配置,我的MAC电脑是否可以安装呢!?
Stable Diffusion 支持在多种操作系统和硬件配置上运行,
包括 Windows 和 Mac。
Stable Diffusion 是一种基于人工智能的图像生成技术,可以根据用户输入的文本描述生成高质量的图像。它的核心是一个扩散模型,通过逐步去噪的过程,从随机噪声开始,逐渐生成有意义的图像。无论是人物、动物还是风景,Stable Diffusion 都能生成各种类型的图像,适用于创意设计、广告制作等多个领域。
Stable Diffusion 各版本介绍
Stable Diffusion Web UI(AUTOMATIC1111)
这是目前最流行的 Stable Diffusion Web UI 之一,由社区贡献开发,具有广泛的功能和插件支持。
AUTOMATIC1111 是目前功能最强大、社区支持最广的选择,适合希望全面掌控生成过程的用户。
优点
- 功能丰富: 支持多种模型加载、图像生成、控制和修改参数,以及使用不同的采样器。
- 社区支持强大: 由于用户群体庞大,插件库非常丰富,定期有更新和新功能加入。
- 可扩展性高: 用户可以自定义配置,甚至集成其他 AI 模型,如 CLIP、BLIP 等。
- 界面友好: 对于初学者和高级用户都有较好的用户体验。
缺点
- 配置复杂: 对于新手来说,安装和配置可能较为复杂,尤其是在 GPU 支持方面。
- 系统资源需求高: 由于其广泛的功能和扩展,可能需要更高的硬件配置才能流畅运行。
Stable Diffusion Forge (SD Forge)
这是另一个常用的 Web UI,专注于易用性和用户体验。
Stable Diffusion Forge 更适合初学者和不需要复杂功能的用户。
优点
- 易于使用: 安装和设置相对简单,适合初学者。
- 界面设计现代: 界面较为直观,用户体验良好。
- 专注于生成任务: 提供稳定的图像生成和调整功能,不会让用户感到过载。
缺点
- 功能相对有限: 与 AUTOMATIC1111 相比,功能扩展和插件支持较少。
- 社区规模较小: 由于用户群体相对较少,插件和支持文档相对较少。
Stable Diffusion Web UI InvokeAI (原 LSDR)
这是一个功能强大的 Stable Diffusion Web UI,专注于为艺术家和设计师提供专业工具。
InvokeAI 适合艺术家和设计师,提供更专业的工具和工作流。
优点
- 专业工具: 适合需要更精细控制和高质量输出的用户,如艺术家和设计师。
- 内置多种工作流: 提供了多种预设和工作流,简化了图像生成过程。
- 稳定性高: 相比一些其他 UI,InvokeAI 更注重系统的稳定性和可靠性。
缺点
- 学习曲线较陡: 对于非专业用户来说,可能需要一些时间来熟悉界面和功能。
- 系统资源需求高: 由于提供专业功能,可能需要较高的系统配置。
NMKD Stable Diffusion GUI
这是一个 Windows 系统上的本地化图形界面,主要针对不熟悉命令行的用户。
NMKD Stable Diffusion GUI 适合想要简单、快速上手的用户,尤其是在 Windows 上。
优点
- 简易安装: 提供了方便的安装程序,适合不熟悉技术的用户。
- 轻量化: 相对其他 Web UI 更加轻量,适合一般硬件配置。
- 集成度高: 内置了基本的功能,用户可以快速上手。
缺点
- 功能相对有限: 相比更复杂的 Web UI,功能较少,适合基础需求的用户。
- 更新较慢: 由于开发者资源有限,更新频率和社区支持可能不如其他 UI。
ComfyUI
这是一个模块化的图形化用户界面,允许用户通过拖放模块来设计图像生成的工作流程。
ComfyUI 则是高级用户的好选择,提供了强大的自定义工作流能力。
优点
- 模块化设计: 用户可以非常灵活地组合不同的功能模块,自定义生成过程。
- 强大的可视化工作流程: 适合需要精细控制和调试生成过程的高级用户。
- 创新性高: 提供了传统 UI 中不常见的功能和工作流程定制选项。
缺点
- 学习曲线陡峭: 对于不熟悉工作流设计的用户来说,可能难以上手。
- 资源需求高: 由于模块化设计,运行效率和硬件要求较高。
下面的章节都是围绕最常用的
AUTOMATIC1111版本去讲解。
其他版本有机会我们会再展开说。
支持的运行环境
支持主流的操作系统
- Windows:Stable Diffusion 可以在 Windows 系统上运行,通常通过 Anaconda 或者直接安装 Python 环境来配置和运行。
- macOS:Stable Diffusion 也支持在 Mac 上运行。由于 macOS 的独特架构,可能需要一些特定的依赖包或调整,但总体上是支持的。
- Linux:Stable Diffusion 同样可以在 Linux 系统上运行,许多开发者和用户也选择在 Linux 上进行部署。
硬件配置要求
- GPU(显卡):Stable Diffusion 最理想的运行环境是配备了支持 CUDA 的 NVIDIA GPU,因为模型的图像生成过程非常依赖于 GPU 的计算能力。一般建议使用至少 4GB 显存的显卡,8GB 或以上显存的 GPU 可以显著提升生成速度和质量。
- CPU:虽然可以在 CPU 上运行,但性能会大幅下降,生成时间会显著延长。对于高效生成,推荐使用配备较强 GPU 的系统。
- 内存(RAM):推荐至少 8GB 内存,以确保系统能够流畅运行。更多的内存有助于处理大尺寸图像或更复杂的模型。
- 存储空间:Stable Diffusion 及其模型文件可能占用数GB的存储空间,因此建议确保有足够的硬盘空间来存储模型和生成的图像。(建议8GB 以上)
Mac 特别说明
- Apple Silicon (M1/M2/M3/M4):Stable Diffusion 也可以在 Apple 的 M1 ~ M4 芯片上运行,虽然在性能上可能不如 NVIDIA GPU,但随着 PyTorch 等库对 Apple Silicon 的支持逐渐完善,性能也在不断提升。
- Metal API:对于 Mac 用户来说,可以利用 Apple 的 Metal API 来加速图像生成,但这需要在配置时进行一些特定的设置。
总的来说,Stable Diffusion 是一个跨平台的工具,只要有适当的硬件配置和系统环境,就可以在 Windows、Mac 和 Linux 上运行。为了获得最佳的性能体验,建议使用配备较强 GPU 的系统。
Windows 安装步骤
安装 Python
- 前往 Python 官方网站 下载 Python 3.10。
如何判断自己电脑是32位还是64位
鼠标右键开始菜单 – [系统] – [系统类型] 栏可以看到。
- 勾选 “Add Python to PATH” 选项,然后点击 Install Now 。
- 当显示 “Setup was successful” 时,Python的安装就完成了。
- 安装完成后,打开命令提示符并输入以下命令,确认 Python 是否成功安装:
python --version
安装 Git
- 根据你的电脑是32位还是64位,选择相应的安装程序。
- 在每一步点击 Next 按钮。
虽然步骤较多,但无需更改任何默认选项,
连续点击 Next ,直到最后一步点击 Install 按钮。
下载 Stable Diffusion WebUI(AUTOMATIC1111)
- 打开命令提示符并导航到你想要安装 WebUI 的目录:
不会进入目录的 点击查看
我这边在C盘:下创建了名为 AI 的文件夹
- 运行以下命令来克隆 WebUI 的代码库:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
- 当 Stable Diffusion 的代码库下载完成后,你的文件目录中会出现
Stable-diffusion-webui
下载 Stable Diffusion 模型文件
- 你需要下载Stable Diffusion的模型文件(通常是
.ckpt
或者.safetensors
格式的文件)。 - 将下载好的模型文件放到
models/Stable-diffusion/
目录下。
stable-diffusion-webui
文件夹
会创建在你的电脑用户名下,
我想你应该能够发现它。
Civitai 下载模型步骤
Civitai: The Home of Open-Source Generative AI
还有很多下载模型的网站这里简单列举几个常用的:
Hugging Face – The AI community building the future.
安装依赖项并运行
- 导航到 WebUI 项目文件夹:
cd stable-diffusion-webui
- 运行
webui-user.bat
文件来自动安装所有依赖项并启动 WebUI:
webui-user.bat
初次运行可能需要下载大量依赖和模型文件,还请耐心等待。
国内部分地区下载可能需要花费很长时间,还请耐心等待。
启动 Stable Diffusion WebUI
- 启动完成后,命令行会显示一个
127.0.0.1:7860
的本地链接,
打开浏览器并访问这个地址即可使用 WebUI。
完成
可选设置:
- 显存优化:可以在
webui-user.bat
中添加启动参数,如--medvram
或--lowvram
,以减少显存占用。 - 自定义模型:在
models/Stable-diffusion/
文件夹中添加不同的模型文件,可以通过界面自由切换。
关于 AMD 显卡 安装 Stable Diffusion WebUI
不建议用AMD显卡:
- 软件优化差:大多数深度学习软件(如 PyTorch)都是为 NVIDIA 的 CUDA 平台优化的,而 AMD 的 ROCm 支持相对较差。
- 兼容性问题:很多功能在 AMD 显卡上不稳定或无法正常运行,经常会遇到错误或崩溃。
- 性能较差:即使是高端 AMD 显卡,性能也通常不如同等级的 NVIDIA 显卡,在模型生成任务中速度较慢。
- 开发者支持少:深度学习社区主要支持 NVIDIA 显卡,AMD 的支持和资源相对较少,遇到问题解决起来更困难。
Stable Diffusion WebUI 虽然可以在 AMD 显卡上运行的,但与 NVIDIA 显卡相比,过程稍复杂,因为大多数 AI 模型默认使用 NVIDIA 显卡的 CUDA 技术,而 AMD 则使用 ROCm(Radeon Open Compute)。
MAC 安装步骤
安装Python(已安装过的可跳过)
安装 Python 3.10
终端
brew install cmake protobuf rust python@3.10 git wget
这里建议尽量安装一次 Python 3.10版本,新版本的可能部分数据不支持。
如果你已经安装过更新 Python 版本,建议是通过上面指令重装一次。
这将会将部分缺失的文件补充进去,可以有效避免接下来的指令出错。
确认当前Python版本
最常用的方法:
打开终端输入以下命令
终端
python --version
或者
终端
python3 --version
python
一般指向默认的 Python 版本。
python3
一般指向 Python 3.x 版本。
如果安装了多个 Python 版本,可以使用 which python
或 which python3
查看具体指向哪个可执行文件。
如果有显示具体安装名称和版本说明已经安装成功。
安装 Homebrew
安装 Homebrew
终端
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
粘贴上面指令,输入密码后就能执行安装。
确认是否已安装
终端
brew --version
如果有显示具体安装名称和版本,说明已经安装成功。
常见错误分析
执行安装过程出现下面错误
curl: (7) Failed to connect to raw.githubusercontent.com port 443 after 25 ms: Couldn't connect to server
通常是由于网络连接问题,尤其是在连接 GitHub 服务器时。
请尝试以下几种解决方法:
检查网络连接
- 确保你的网络连接正常,可以尝试访问其他网站以确认网络状况。
- 检查是否有防火墙、VPN或代理干扰了你的连接,尝试关闭这些工具后再试。
使用镜像地址
- 如果你所在的地区访问GitHub服务器不稳定,可以尝试使用镜像地址来安装Homebrew。你可以使用国内的一些镜像源。例如:
终端
/bin/bash -c "$(curl -fsSL https://ghproxy.com/https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
ghproxy.com
是一个常用的GitHub代理服务,它将请求通过代理服务器转发,通常可以提高访问速度。
手动下载脚本并执行
- 你可以手动下载安装脚本,然后在本地执行。步骤如下:
访问Homebrew的GitHub页面。找到install.sh
脚本并手动下载到你的本地电脑。
在终端中导航到下载文件的目录,
然后执行以下命令:
终端
/bin/bash install.sh
切换DNS设置
- 尝试将你的DNS服务器切换为Google DNS或其他公共DNS,以提高连接稳定性。
你可以在“系统偏好设置” -> “网络” -> “高级” -> “DNS”中进行更改,添加8.8.8.8
和8.8.4.4
作为DNS服务器。
重试命令
- 有时网络问题是暂时的,等一段时间后再重试命令可能就能成功连接。
尝试科学上网
- 如果你有VPN,可以尝试连接到其他地区的服务器,然后再试一次安装命令。
安装依赖项
下载 Stable Diffusion WebUI 和相关依赖
- 在终端中,输入以下命令来安装
git
和wget
,它们将用于下载 Stable Diffusion WebUI 和相关依赖项:
终端
brew install git wget
该下载文件比较多,请耐心等待。
下载 Stable Diffusion WebUI
克隆Stable Diffusion WebUI的仓库:
- 使用以下命令克隆Stable Diffusion WebUI的仓库:
终端
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
下载 Stable Diffusion 模型文件
- 你需要下载Stable Diffusion的模型文件(通常是
.ckpt
或者.safetensors
格式的文件)。 - 将下载好的模型文件放到
stable-diffusion-webui/models/Stable-diffusion/
目录下。
stable-diffusion-webui
文件夹
会创建在你的电脑用户名下,
我想你应该能够发现它。
Civitai 下载模型步骤
Civitai: The Home of Open-Source Generative AI
还有很多下载模型的网站这里简单列举几个常用的:
Hugging Face – The AI community building the future.
启动 WebUI
启动WebUI
- 进入到刚刚克隆的
stable-diffusion-webui
目录:
初次进入,会安装所需的Python依赖包。
终端
cd stable-diffusion-webui
- 在终端中,确保你在
stable-diffusion-webui
目录下,运行以下命令启动WebUI:
终端
./webui.sh
如果没有自动弹出界面,请直接在网页输入 http://127.0.0.1:7860
完成
当你得到上面这个界面,说明你安装成功。
图片生成步骤教学
简单介绍下几个主要菜单
txt2img
这是生成图像的主要功能。用户通过输入文本描述(Prompt)来生成图像。系统会根据输入的描述生成与之匹配的图像。
Prompt
这是你输入文本描述的地方。系统会根据这个描述生成相应的图像。
Negative prompt
在这个字段中,你可以输入不希望出现在生成图像中的元素。这个功能可以帮助过滤掉不需要的图像内容。
下面两个给各位测试用!
初阶
Prompt
cat
Negative prompt
blurry, horror
高阶
Prompt
vampire queen, perfect body shape, small breast, battle skirt, (royal cape:1.1), main color is matte black, secondary color is purple, sexy and devil aura, original character, masterpieces, seducing purple pupil, (multi color high pony tail 1:1.2), walking under blood moon and middle of the destroyed city street, purple gem accessories, golden belt, golden necklace, windy and evil effect, soft moon light focus, corruption, extremely delicate and beautiful eyes, messy bang, unique crown, league of legend arts
Negative prompt
verybadimagenegative_v1.3, ng_deepnegative_v1_75t, (ugly face:0.8),cross-eyed,sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy, DeepNegative, facing away, tilted head, {Multiple people}, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worstquality, low quality, normal quality, jpegartifacts, signature, watermark, username, blurry, bad feet, cropped, poorly drawn hands, poorly drawn face, mutation, deformed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, extra fingers, fewer digits, extra limbs, extra arms,extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed,mutated hands, polar lowres, bad body, bad proportions, gross proportions, text, error, missing fingers, missing arms, missing legs, extra digit, extra arms, extra leg, extra foot, ((repeating hair))
Stable Diffusion 结束和启动方法
退出/关闭
需要终止 Stable Diffusion 只需在终端界面按下[Control]+[C]
键盘按键,再按个回车建[Enter]
就可以了。
或者直接关闭页面窗口也可以。
启动
WIN 用户 只需双击 webui-user.bat 打开运行就可以启动 Stable Diffusion 。
MAC 用户 需要在终端中输入下面指令启动 。
终端
bash stable-diffusion-webui/webui.sh
【附加操作】中文包安装(汉化)
进入扩展插件选项 – Extensions
- 点击 “Install from URL”
- 在 “URL for extension’s git repository” 输入框中输入下面 Git仓库地址
https://github.com/VinsonLaro/stable-diffusion-webui-chinese
- 点击下方的黄色按钮 “Install” 即可开始安装
重启 WebUI
- 点击 “Installed”
- 然后点击黄色按钮 “Apply and restart UI” 开始重启用户界面。
进入设置页面 – Settings
- 页面重启后点击 “Settings”
- 点击 “User interface” 界面(在左下方,因为有两个,这里容易看错)
- 在界面 “Localization (requires Reload UI)”,选择你想用的语音包。
- 点击界面最上方的黄色按钮 “Apply settings” 应用设置。
- 最后点击旁边的 “Reload UI” 重新加载,即可完成汉化。
没有显示语言包 – 补救措施
如果你未能看到 “User interface” 界面中的”Localization (requires Reload UI)” 语言包,这也许是网络的问题,没能正常下载到。
这边给两个补救措施方法
方法一
- 打开命令行终端,并导航到 WebUI 的
extensions
目录:
cd /path/to/stable-diffusion-webui/extensions
- 使用 git clone 命令手动克隆扩展仓库:
git clone https://github.com/VinsonLaro/stable-diffusion-webui-chinese.git
- 克隆完成后,重新启动 WebUI,看看是否生效。
方法二
- 确保你输入的 URL 是正确的,并且没有拼写错误。
- 直接访问该网站 https://github.com/VinsonLaro/stable-diffusion-webui-chinese
- 将汉化包下载下来。(参考下图)
- 将解压包解压后复制到对应路径下。通常是
stable-diffusion-webui/extensions/
。 - 最终存放的文件路径如下
/stable-diffusion-webui/extensions/stable-diffusion-webui-chinese/localizations/chinese-and-english-0313.json
完成