没学过绘画的人,想画出漂亮的画儿,以前不敢想,AI出来后,貌似可以实现了。
试用了很多文生图AI软件,但是总感觉差强人意,可能自己还没学会文生图提示词,所以一遍一遍试验,一遍一遍生图,发现免费的额度不够了,得充值了。
一直想实现文生图自由,奈何口袋里空空,所以只能找一个本地可以部署的Stable Diffusion,配置不行,时间来凑。
一、背景介绍
什么是Stable Diffusion?
Stable Diffusion是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。
简单点,只要记住Stable Diffusion是一种图像生成模型就好了。
为便于读者对大模型有个全局的认识,我做了下表,给大家一个整体的概念。
模型类型 | 示例模型 | 应用领域 | 简介 |
---|---|---|---|
大型语言模型 (LLM) | GPT-4、Llama、BERT、T5 | 自然语言处理 | 基于Transformer架构,处理文本生成、翻译、问答等任务,参数规模达千亿级 |
文生图模型 (Text-to-Image) | Stable Diffusion(我在这儿)、Midjourney、Dall.E | 图像生成、艺术创作 | 通过扩散过程生成图像,结合语义理解(如SUR-adapter优化简洁提示)或Transformer架构(如DiT替代UNet提升全局信息捕捉) |
图像分类模型 | ResNet、VGG | 计算机视觉 | 识别图像中的物体类别 |
目标检测模型 | YOLO、Faster R-CNN | 自动驾驶、安防 | 定位并识别图像中的多个物体 |
语音识别模型 | DeepSpeech、Whisper | 语音助手、转录 | 将语音转换为文本 |
推荐系统模型 | 协同过滤、Wide&Deep | 电商、流媒体 | 基于用户行为推荐内容 |
强化学习模型 | Deep Q-Network (DQN) | 游戏AI、机器人 | 通过试错学习最优策略 |
生成对抗网络 (GAN) | StyleGAN、CycleGAN | 图像生成、风格迁移 | 通过生成器和判别器对抗训练 |
时间序列预测 | Prophet、ARIMA | 金融、气象 | 预测未来时序数据趋势 |
图神经网络 (GNN) | Graph Convolutional Network | 社交网络、化学 | 处理图结构数据的关系分析 |
二、安装准备
- **电脑:**mac电脑,M1以上,内存8G以上,越大越好。硬盘推荐20G以上,各种模型下载需要占用好多空间。后期等你浏览了C站以后,看到好看的图片,就想下载,手贱。
- **网络:**需要科学上网。至于没有魔法上网能否成功,我还没试过,也没法说。
三、网络准备
配置Git代理**(避坑一)**
这一步非常关键,我之前没配置这个,一运行“./webui.sh”就报错,没法克隆、也没法更新文件,忙活了3个晚上,最后差点儿放弃了。
为什么要搞这一步呢?
因为虽然我们的网络开启了科学上网的代理,但是在终端运行的git并没有走代理,为了保证终端运行git能正常下载,需要提前在git里进行配置。
步骤一:打开你的代理工具,在设置中找到代理端口号
步骤二:运行命令以修改端口
export https_proxy=http://127.0.0.1:7890 http_proxy=http://127.0.0.1:7890 all_proxy=socks5://127.0.0.1:7890
步骤三:检查是否设置成功
git config --list --show-origin
如果显示如红框所示,就可以了。如果这一步不设置,下载速度超慢不说,很可能下着下着就断开连接了。
四、下载Homebrew
什么是Homwbrew?
Homebrew是一个非常有用的实用程序,它允许您在macOS上安装、卸载、更新、查看、搜索等很多实用的功能。简单的一条指令,就可以实现包管理,而不用你关心各种依赖和文件路径的情况。Homebrew包括一个庞大的软件包仓库,涵盖了各种开发者和程序员需要的核心软件包。
如果不好理解,就把它理解为Windows和iphone里面的app store吧。
方法1:进入brew下载页下载:https://github.com/Homebrew/brew/
方法二:直接在Mac终端运行代码,打开终端方法:commond+空格
搜索“终端”
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
方法三:如果这一步没有科学上网,可以用国内镜像版,代码如下:
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
1、输入“1”选择中科大版本,然后输入 Y(YES),直接输入 开机密码(不显示),然后回车确认,开始下载
2、首次下载它弹窗让你先下载Git,我们点击同意,然后等待下载,git下载完后就开始下载brew了。
3、下载完brew后,还会询问是否下载brew的其他模块,我是没有下载,直接回车就好。如果你不在意占用存储空间,可以选择 Y,下载全部。
4、安装完后,通过运行brew - v命令,来查看是否安装成功
补充一些brew的命令:
# 更新Homebrew本地仓库索引
brew update
# 更新软件列表
brew upgrade
brew upgrade <package> # 更新指定包
brew upgrade --cask <package> # 更新指定GUI应用
brew upgrade --cask --greedy <package> # 启用贪婪模式
# 搜索包
brew search <keyword>
# 安装指定包
brew install <package> # 默认安装最新版本
brew install --cask <package> # 安装指定GUI应用
brew install <package>@<version> # 安装指定版本的包
# 卸载指定包
brew uninstall|remove|rm <package> # 默认卸载最新版本
brew uninstall --cask <packafe> # 卸载指定GUI应用
brew uninstall <package>@<version> # 卸载指定版本的包
brew uninstall --ignore-dependencies <package> # 即使该包是其他包的依赖也会卸载
# 卸载依赖包
brew autoremove
brew autoremove -n|--dry-run # 预览将要被卸载的依赖包
# 重装指定包
brew reinstall <package>
brew reinstall <package>@<version> # 重装指定版本的包
# 列出已安装的包
brew list|ls # 所有已安装的包,包括formulae和casks
brew list --formula # 所有已安装的formulae
brew formulae # 所有已安装的formulae
brew list --cask # 所有已安装的casks
brew casks # 所有已安装的cask
brew list <package> # 列出指定包的详细信息
# 列出可更新的包
brew outdated # 所有可更新的包,包括formulae和casks
brew outdated --formula # 所有可更新的formulae
brew outdated --cask # 所有可更新的casks
# 切换指定包的版本
brew switch <package> <version>
# 清理旧包
brew cleanup # 清理所有旧版本的包
brew cleanup <package> # 清理指定的旧版本包
brew cleanup -n # 查看可清理的旧版本包
# 查看包信息
brew info # 显示安装的软件数量,文件数量以及占用空间
brew info <package> # 显示某个包信息,默认只显示该包最高版本的信息(即使该包未安装)
# 服务管理
brew services list # 显示所有已启动的服务
brew services info <service_name> # 显示当前服务状态信息
brew services start <service_name> # 启动服务并开启登录自启
brew services run <service_name> # 启动服务并取消登录自启
brew services stop <service_name> # 停止服务
brew services restart <service_name> # 重启服务
brew services kill <service_name> # 强制杀死服务进程
brew services cleanup # 清理无用服务
# 仓库管理
brew tap # 列出已安装的仓库,包括官方仓库和第三方仓库
brew tap <user/repo> # 添加指定仓库
brew untap <user/repo> # 卸载指定仓库(需要先卸载使用该仓库安装的软件包)
brew untap -f|--force <user/repo> # 强制卸载指定仓库(即使当前已安装该仓库的软件包)
brew tap-info # 显示已安装的仓库的简要信息
brew tap-info <user/repo> # 显示指定仓库的简要信息
# 检查Homebrew
brew doctor|dr
# 自动添加环境变量(配置文件脚本中常用)
/opt/homebrew/bin/brew shellenv
# 查看Homebrew配置信息
brew config|--config
brew -v | --version # 显示Homebrew版本
brew --repo # 显示Homebrew本地的Git仓库
brew --prefix # 显示Homebrew安装路径
brew --cellar # 显示Homebrew Cellar路径
brew --caskroom # 显示Homebrew Caskroom路径
brew --cache # 显示Homebrew缓存路径
五、下载python
Stable Diffusion推荐3.10.X版本的python,所以一定要安装此版本的python,之前我安装了最新的3.13版的,到最后怎么都成功不了**(避坑二)**
在终端运行代码安装:
brew install cmake protobuf rust python@3.10 git wget
安装完后,运行 python3 --version查看版本是否为3.10.X版本。
六、下载Stable- diffusion-webui
方法1:通过git clone命令来克隆Stable- diffusion-webui到本地,你可以先在终端打开到需要安装的目录,再执行命令,也可以克隆完后,通过拖动的方式,将文件放到指定的位置,推荐前者。
打开文件命令: cd 文件目录路径
克隆命令:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
此处一定要记住,需提前设置配置Git代理,不然很难成功。
方法2:直接去网站下载
https://github.com/AUTOMATIC1111/stable-diffusion-webui
解压完后,将文件夹名称由“stable-diffusion-webui-master”改为“stable-diffusion-webui”,然后放到指定的目录下。
七、安装和配置
在stable- diffusion中,目前共有 5 种模型
Stable-Diffusion几种模型的关系
模型名称 | 安装目录 | 训练方法 | 常见大小 | 使用方法 | 特点 |
---|---|---|---|---|---|
Checkpoint | \models\Stable-diffusion | Dreambooth | 约3-7GB | WebUI顶部设置栏直接切换 | 最重要的主模型,效果最好,常用于控制画风,但文件体积较大,不够灵活 |
Embedding | \embeddings | Textual Inversion | 几十KB | 提示词框中输入触发关键词 | 最轻量的模型,适合控制人物角色,但控图能力有限 |
LoRA | \models\Lora | LoRA | 约150MB | 提示词框中输入 lora:filename:multiplier | 目前最热门的是原模型,体积小且控图效果好,常用于固定角色特征 |
HyperNetworks | \models\hypernetworks | Hypernetwork | 几十MB | 提示词框中输入 hypernet:filename:multiplier | 类似低配版的LoRA模型,因训练难度较高已逐渐被淘汰,多用于控制画风 |
VAE | \models\VAE | / | 约300MB | WebUI顶部设置栏直接切换 | 作为外置模型来弥补主模型的VAE功能,多用于辅助出灰图的主模型 |
基础底模型只能有一种,而辅助模型(VAE、Lora等)的则没有限制,可以没有,也可以是一种或多种。
首先必须要一个基础底模型来正常启动,建议先从官方模型运行测试一下是否部署成功(建议使用v1.5),以后有时间再去探索其他模型。
下载模型的网站:
https://civitai.com/(需科学上网)
https://huggingface.co/(不需科学上网)
以huggingface网站为例:
模型名称不能带中文和空格,建议尽量不要修改模型名称。
- **基础模型:**将“.ckpt”或“.safetensors”文件放到文件路径:stable-diffusion-webui/models/Stable-diffusion
- **辅助模型:**将“.ckpt”或“.safetensors”文件放到文件路径:stable-diffusion-webui/models/Lora
注意:这个模型需要先运行./webui.sh后才会有这个文件夹 - **美化模型VAE:**将“.ckpt”或“.safetensors”文件放到文件路径:stable-diffusion-webui/models/Vae
八、运行./webui.sh
首先根据放置stable-diffusion-webui的文件目录,在终端切换到stable-diffusion-webui目录下:
格式:cd 文件目录路径(/Users/用户名/xxxx/stable- diffusion-webui)
运行:
cd stable-diffusion-webui/
./webui.sh
运行之后,会下载一些必须的依赖,不要关闭,等他下载就好。
下载过程很缓慢,我好几次以为出问题了,后来才知道下载过程是不显示进度的,其实后台一直在下载,等待就好。
这一步会出现很多报错,当时我也是借助deepseek、百度等工具搜到的解决方案,只要不放弃,总能找到方法。
到这个界面是,就表示安装成功了。
在浏览器输入:127.0.0.1:7860
就能打开SD的web界面了,不过此时是英文版的。
不过我在运行之前,一直要运行这个命令才能打开,应该是显卡的问题吧。(避坑三)
source myenv/bin/activate
如果你打不开,也可以先试试运行这个命令。
一键命令(供参考啊,不一定准确):
source myenv/bin/activate && cd ~/stable-diffusion-webui && bash webui.sh
九、汉化
1、**进入资源库:**在操作界面点击Extensions>Available>,将“Hide extensions with tags”下面的勾选全部取消,点击“Load from”橙色按钮刷新资源。
2、**搜索并安装资源包:**使用command+F搜索“zh_CN”,找到对应的“zh_CN Localization localization”(如果未搜索到,可重复点击“Load from”刷新,再进行搜搜),找到后,点击该行右侧的“install”安装。
大功告成了!
十、结语
由于电脑技术一般,所以安装SD熬了好几个夜,也想了好多办法,只要不放弃,总能成功的,
1、请教网络大神,如果你身边有这样的人的话。
2、百度、google用起来,一般的问题都会搜到的。
3、deepseek、GPT用起来。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
