“过去,我们聊了不少AI写文的奥秘。现在,换个频道,带你探索AI生图的神奇世界!或许你已领略过Midjourney、Stable Diffusion,甚至新鲜出炉的FLUX等生图模型的魅力。
今天,就为新手们献上一份Stable Diffusion入门指南——这是我们的Stable Diffusion系列首篇!
不管你是AI生图的初体验者,还是各路模型的尝鲜达人,这篇指南都将带你轻松掌握Stable Diffusion的基本精髓。一起开启AI生图的新旅程吧!”
Stable Diffusion是由初创公司Stability Al和 慕尼黑大学机器视觉学习组和 AI 视频剪辑技术创业公司 Runway 合作开发 ,于2022年发布的一款文本到图像的生成模型。
Mostaque 目前是 Stability AI 的 CEO 兼联合创始人,当前的人员在 200 人左右。Stable Difussion支持文生图、图生图、修改图像、填充低分辨率图像等功能,并且因为免费开源且生成的图片质量较高,而广受创作者的喜爱。
Stable Difussion本地部署对显卡的要求较高,不过它也有在线版!本文将介绍Stable Diffusion在线版及本地版部署详细教程及使用教程!
先来预览下接下来要讲的内容结构:
在线运行Stable Diffusion
-
DreamStudio
-
Clipdrop Stable Diffusion XL
-
Hugging Face
-
Replicate
本地运行Stable Diffusion
Stable Diffusion项目实操
-
图生图“重绘”照片和CG
-
高清修复、优化细节、无损放大
-
模特换装、人物换背景、产品换背景
-
一招修复老照片中模糊的人脸!
-
如何精准控图出图
-
让图片说话
-
区域绘制精准控制出图
-
室内设计实操定向更换家具
-
2分钟搞定人物cos照
在线运行Stable Diffusion方法
本文将介绍4种在线运行Stable Diffusion的方法。
1、DreamStudio
官网地址:https://beta.dreamstudio.ai/generate
DreamStudio是StabilityAl公司官方推出的方便用户生成图像的网站应用程序。用户可以在网站上输入自然语言和调节参数控件来创建自定义图像。访问需要特殊技术手段,可以参考我历史文章!
此外,还支持API访问,可以在自己开发的应用程序或机器人中使用。可以直接使用Google登录,登录后免费获得25积分,大约可以生成120张标准图像。如果需要更多生成次数,可以付费购买,10美元可以购买1000积分(大约5000张左右图片)。
2、Clipdrop Stable Diffusion XL
官网地址:https://clipdrop.co/stable-diffusion
Clipdrop是StabilityAl推出的AI图像处理工具套件,支持多种图片功能。Clipdrop支持Stable Diffusion XL版本,用户可以在网站上输入文本描述,选择图像风格,点击Generate按钮即可生成图片。
免费版的Clipdrop每天可以使用Stable Diffusion XL生成400张带有Clipdrop水印的图片。如果需要更多生成次数和去除水印,可以考虑升级到高级版本,付费后每天可以生成1500张图片,并且可以无限使用其他的AI功能。
3、Hugging Face
官网地址:https://huggingface.co/spaces/stabilityai/stable-diffusion
Hugging Face:Hugging Face是知名的开源AI模型社区,汇集了全球各大知名AI模型。在Hugging Face上,可以使用Stable Diffusion生成图片。Stable Diffusion由StabilityAl官方创建,用户可以直接输入描述,点击Generate image即可。
由于Hugging Face的用户量较大,生成图片可能需要较长时间,大约10秒或更长。
4、Replicate
官网地址:https://replicate.com/stability-ai/stable-diffusione
Replicate是一个帮助用户快速运行开源机器学习模型的平台。Replicate提供了Stable Diffusion的在线运行环境,相比于Hugging Face,Replicate的生成速度更快。
用户只需添加几行代码,便可以快速开发属于自己的AI应用

本地运行Stable Diffusion方法
如果你愿意动手折腾,或考虑到隐私安全,你也可以在自己的本地电脑上运行Stable Diffusion模型。以下是本地运行Stable Diffusion的步骤。
1、安装Python和Git
首先安装Python 3.10.6版本,官网地址:https://www.python.org/downloads/release/python-3106/
接下来安装git,官网地址:https://git-scm.com/
也可以参考我上篇git安装文章:零基础到精通:超详细Linux安装GitLab实操指南,只需3步,轻松部署!
2、注册GitHub和Hugging Face账号
注册这两个平台的账号,方便后续代码的同步管理和模型的下载。
github官网地址:https://github.com/dashboard
hugging face官网地址:https://huggingface.co/join
github可以使用以下方法登录:《揭秘!如何通过内网轻松访问github》
3、克隆Stable Diffusion Web-UI到本地电脑
创建一个文件夹,并使用Git将Stable Diffusion Web-UI项目下载到该文件夹中。
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
4、从Hugging Face下载Stable Diffusion模型
访问Hugging Face官网,登录注册好的账号,下载Stable Diffusion 1.5版本:https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt,模型下载完后,切换到stable-diffusion-webui 文件夹内的"models"文件夹,然后将该模型放到这个文件夹里。
5、设置Stable Diffusion Web-UI
打开命令终端,切换到stable-diffusion-webui 文件夹
# 这里改成你自己的实际目录
cd xx/sd-project/stablediffusion-webui
然后输入 webui-user.bat 安装依赖项
6、运行Stable Diffusion
安装依赖项成功后,命令提示符中将出现一个 URL:http://127.0.0.1:7860。将其复制并粘贴到浏览器地址栏中以运行stable-diffusion-web-ui。
如果机器有公网ip的话,打开安全组后,使用 http://公网ip:7860即可访问该webui界面
Stable Diffusion项目实操
安装完成Stable Diffusion后,接下来开始进行项目实操了!由于项目实操教程太长,这里不做详细介绍,给出在线视频指导,跟着视频一步步操作即可完成目录那些课程实操
如何学习Stable Diffusion ?
2023年,AIGC绘画元年,从年初以来,以Midjourney和Stable Diffusion 为代表的AIGC绘画迎来春天,掀起了一场生产力革命。
Stable diffuson最大的优势在于它的可控性以及免费开源。很多人想学习和使用stable diffusion,网上一搜,往往在安装这一步就劝退了很多人。
也因为Stable diffusion中的参数非常非常多,极其容易劝退,但事实是,对于我们来说,只需要熟练使用即可,并不需要深入的去研究它的原理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的StableDiffusion学习资料包括:StableDiffusion学习思维导图、StableDiffusion必备模型,精品AI学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天)Stable Diffusion初始入门
该阶段让大家对StableDiffusion有一个最前沿的认识,规避碎片化学习,对SD的理解将超过 95% 的人。可以在相关讨论发表高级、不跟风、又接地气的见解,成为AI艺术创作领域的佼佼者。
-
1.Stable Diffusion的起源及工作原理
-
2.Midjourney跟Stable Diffusion之间的的区分指南
-
3.Stable Diffusion一键包快速实现部署
-
4.Stable Diffusion启动器参数
-
5.Stable Diffusion的“Settings”页面高效配置Al模型
-
6.Stable Diffusion的插件安装指南
-
7.汉化Stable Diffusion界面实操
-
8.Stable Diffusion中的大模型使用指南
-
9.Stable Diffusion VAE模型
-
10.txt2img文本提示转换成图像实操
-
11.生成(Generate)功能相关的系列按钮
-
12.单批跟总批的配比选择指南
-
13.采样方法
-
14.生成图像的引导迭代步数
-
…
第二阶段(30天)Stable Diffusion进阶应用
该阶段我们正式进入StableDiffusion进阶实战学习,学会构造私有知识库,扩展不同的艺术风格。快速根据甲方的要求改动高效出图。掌握智能绘图最强的AI软件,抓住最新的技术进展,适合所有需出图行业。真·生产力大爆发!!!
-
1.涂鸦Sketch功能
-
2.涂重绘鸦Inpainting Sketch功能
-
3.局部重绘Inpainting功能详解
-
4.上传蒙版Inpainting upload功能
-
5.segment anything辅助抠图功能
-
6.inpaint anything蒙版获取功能
-
7.ControlNet的起源及工作原理
-
8.ControlNet插件扩展功能
-
9.ControlNet基础界面使用指南
-
10.ControlNet五种线稿模型
-
11…ControlNet重绘修复模型
-
12.ControlNet 图像提示迁移模型实战
-
…
第三阶段(30天)专属Lora模型训练
恭喜你,如果学到这里,所有设计类岗位你将拥有优先选择权,自己也能训练Lora 了!通过对模型进行微调有效减少模型的参数量和计算量,以生成特定的人物、物品或画风,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
-
1.定制个人的LORA模型适配个性化需求
-
2.高质量素材过程中的重要事项收集指南
-
3.birme工具批量化的处理图片实战
-
4.BooruDatasetTagManager工具打标图片实战
-
5.正则化训练集使用指南
-
6.SD-tainerLORA训练工具
-
7.SD-tainer工具训练自己的Lora操作
-
8.LORA模型测试指南
-
…
第四阶段(20天):商业闭环
对氛围性场景,关键词技巧,图生图实操流程等方面有一定的认知,教你「精准控制」所有图片细节,可以在云端和本地等多种环境下部署StableDiffusion,找到适合自己的项目/创业方向,做一名被 AI 武装的社会主义接班人。
-
1.CodeFomer模型实战
-
2.固定同一人物形象IP实战
-
3.广告设计
-
4.电商海报设计
-
5.制作3D质感
-
6.室内设计全案例流程
-
7.AI赋能电商新视觉
-
8.老照片修复
-
9.小说推文
-
10.影视游戏制作
-
11.游戏开发设计
-
12.三维软件去精准辅助SD出高质量图实战
-
13.GFPGAN模型实战
-
…
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AI绘图大神的正确特征了。