大家好,我是SD教程菌。
什么是Stable Diffusion,什么是炼丹师?根据市场研究机构预测,到2025年全球AI绘画市场规模将达到100亿美元,其中Stable Diffusion(简称SD)作为一种先进的图像生成技术之一,市场份额也在不断增长,越来越多的人参与到AI掘金这场运动中来。炼丹师,就是指那些专门研究、开发与应用Stable Diffusion模型的专业人士或爱好者,他们在实践中不断优化模型,使其产生更高质量、更具创意的图像。
一、SD绘画原理
基本概念
- Stable Diffusion: 是一种基于扩散模型的先进的人工智能技术,特别适用于文本到图像(Text-to-Image)的生成任务。该模型由CompVis、Stability AI、LAION等研究机构和公司合作研发,它利用扩散过程在潜在空间(latent space)中生成图像,而不是直接在高维像素空间中操作。
- SD WebUI:Stable Diffusion Web UI (SD WebUI) 是一个用于交互式控制和使用 Stable Diffusion 模型的网页应用程序界面。用户可以通过这个界面输入文本提示(prompt)来驱动模型生成相应的图像,提供了简单易用的方式来体验和定制基于 Stable Diffusion 的文本到图像生成过程。
- Controlnet插件:是针对 Stable Diffusion 模型开发的一种功能扩展插件,它允许用户在文本生成图像的过程中实现更为细致和精确的控制。该插件使得用户不仅能够通过文本提示(prompt)指导模型生成图像,还能添加额外的输入条件,比如控制图像的构图、颜色、纹理、物体位置、人物姿势、景深、线条草图、图像分割等多种图像特征。通过这种方式,ControlNet 提升了 AI 绘画系统的可控性和灵活性,使得艺术创作和图像编辑更加精细化。
- LORA:全称是Low-Rank Adaptation of Large Language Models 低秩的适应大语言模型,可以理解为SD模型的一种插件,和hyper-network,controlNet一样,都是在不修改SD模型的前提下,利用少量数据训练出一种画风/IP/人物,实现定制化需求,所需的训练资源比训练SD模要小很多,非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域,用于微调GPT-3等模型(也就是ChatGPT的前生)。由于GPT参数量超过千亿,训练成本太高,因此LoRA采用了一个办法,仅训练低秩矩阵(low rank matrics),使用时将LoRA模型的参数注入(inject)SD模型,从而改变SD模型的生成风格,或者为SD模型添加新的人物/IP。
- prompt:提示词/咒语
工作原理
Stable Diffusion就是一个接收文本提示词,并生成相应图像的生成模型。
SD来自于扩散模型(Diffusion Model)
扩散模型:(Diffusion Model)的核心原理被生动地比喻为物理学中的扩散过程,通过前向扩散过程逐渐将图像转化为噪声图像,然后通过反向扩散过程恢复出清晰的图像。在Stable Diffusion中,模型训练了一个噪声预测器(noise predictor),它是一个U-Net结构的神经网络,可以预测并从图像中去除噪声,从而重构原始图像。
然而,传统的扩散模型在图像空间中的运算效率极低,不适合实时应用。为此,Stable Diffusion采用了在潜在空间(latent space)中进行扩散的过程,利用变分自编码器(VAE)将图像压缩到较低维度的空间,极大地提高了计算速度和效率。
Stable Diffusion的具体工作流程包括:
-
输入图像被编码到潜在空间。
-
添加噪声,并通过噪声预测器估算添加的噪声量。
-
反复迭代,通过噪声预测器预测并减去潜在噪声。
-
使用VAE的解码器将清理过的潜在图像转换回像素空间,生成最终图像。
学习资料
- stability.ai官网
- https://stability.ai/about
- github开源项目
- https://github.com/CompVis/stable-diffusion/blob/main/README.md
- The Illustrated Stable Diffusion @Jay Alammar 讲的原理
- https://jalammar.github.io/illustrated-stable-diffusion/
二、本地部署安装SD WebUI
硬件条件
说明:本地部署的硬件要求,当然使用云端部署租赁更高端的机器也是没问题。
最低推荐配置 | 推荐配置 | 备注 | |
显卡(GPU) | GTX1050Ti | 低配推荐:RTX4060Ti-16G高配推荐:RTX4090 | 为达到良好的体验,请尽可能使用8GB显存及以上显卡。低显存虽然能跑,但是体验极差 |
内存(RAM) | 8GB内存 | 总内存24GB及以上 | 可以开启虚拟内存,内存过小会在加载模型的时候出现问题 |
存储空间 | 20GB任意存储设备 | 500GB以上固态硬盘 | 强烈建议单独使用一个盘符,如果不想启动的时候等10分钟的话,那么只推荐使用SSD |
CPU | x86架构的Intel或AMD等处理器都可以, 若为Mac电脑建议使用搭载M系列芯片的机型。 |
1. 显卡VRAM在4GB以下的会很容易遇到显存不足的问题,即使使用放大插件也就非常慢(以时间换显存)
2. 显卡较差/显存严重不足时可以开启CPU模式,但是速度非常慢。你不希望一个小时一张图的话那就别想着用CPU跑图。
软件需求
Windows:最低要求为Windows 10 64比特,请确保系统已更新至最新版本。
macOS:最低要求为macOS Monterey (12.5),如果可以的话请使用最新版macOS。建议使用搭载Apple Silicon M芯片 (M1、M2) 的Mac机型。旧款Mac需配备AMD独立显卡,只有Intel核显的不能使用。
安装包+安装教程+全套学习资料,扫码免费领取
三、生成第一张SD绘画
启动“A启动器.exe”
加载更新
点击“一键启动”
[不要关闭它],它会自动打开
基本功能介绍
界面及操作说明 | |
stable diffusion模型 | 下拉,替换大模型/底模 |
正面提示词 Tag | (想要的内容,提示词) 如:masterpiece, best quality, |
反面提示词 Tag | (不想要的内容,提示词) 如:lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry |
提示词加权重 | (girl) 加权重,这里是1.1倍。 ((girl)) 加很多权重,1.1*1.1=1.21倍,以此类推。 |
提示词减权重 | [girl] 减权重,一般用的少。减权重也一般就用下面的指定倍数。 |
提示词指定权重 | (girl:1.5) 指定倍数,这里是1.5倍的权重。还可以 (girl:0.9) 达到减权重的效果 |
采样迭代步数 | 不需要太大,一般在50以内。通常28是一个不错的值。 |
采样方法 | 没有优劣之分,但是他们速度不同。全看个人喜好。推荐的是图中圈出来的几个,速度效果都不错 |
提示词相关性 | 代表你输入的 Tag 对画面的引导程度有多大,可以理解为 “越小AI越自由发挥”,太大会出现锐化、线条变粗的效果。太小AI就自由发挥了,不看 Tag |
随机种子 | 生成过程中所有随机性的源头 每个种子都是一幅不一样的画。默认的 -1 是代表每次都换一个随机种子。由随机种子,生成了随机的噪声图,再交给AI进行画出来 |
切换webUI黑白皮肤,修改浏览器http地址:
白:http://127.0.0.1:7860/?__theme=light
黑:http://127.0.0.1:7860/?__theme=dark
输入提示词【1 girl】,点击生成即可:
(我安装了皮肤插件,所以和你运行的界面稍微酷炫一点_)
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除