大家好,我是程序员晓晓
今天给大家分享一下 AI绘画工具Stable Diffusion的实战教程,非常适合新手入门和巩固以往知识体系,同时我也准备了配套的学习资料,本教程没有难懂的理论,全是实操的截图,非常通俗易懂。本教程没有难懂的理论,全是实操的截图,非常通俗易懂。
认真看完这篇教程,能够帮你在最短的时间里,掌握Stable Diffusion的核心操作方法。真正有效地提高工作的效率。
如果你还没有安装和使用过Stable Diffusion,那么可以看看我的往期入门教程2024最新超强AI绘画Stable Diffusion整合包安装教程,零基础入门必备! 安装包或各种模型插件下载,请看文末扫描免费获取哦
教程主要是讲我们在工作中高频使用的4个功能模块:文生图、图生图、后期处理和标签器。如下图:
1.Stable Diffusion 高效工作流程
1.1创意阶段:
效率高:【草图 + ControlNet + 提示词】这个方法出图的确定性高,但要一定的美术基础。
效率高:【网图 + ControlNet + 提示词】根据需求找一些合适的网图,再用SD生图。
效率高:【复制C站的图片信息】这个方法比较省事,但是不太好找到和需求接近的图。
效率低:【提示词】这个方法比较费时间,要不断地调整提示词去跑图抽盲盒。
1.2深入阶段:
效率高:【PS修型 + 局部重绘】这个方法出图的确定性高,但要一定的美术基础。
效率低:【提示词 + 局部重绘】这个方法比较费时间,要不断地跑图抽盲盒。
1.3最后整理、交付阶段:
效率高:【后期处理】确定性最高,1:1放大原图。
效率低:【高分辨率修复(Hires.fix)】需要调参数,比较费时间。
效率低:【SD脚本放大功能(SD upscale)】需要调参数,比较费时间。
2、大模型、外挂VAE模型、LORA模型、CLIP终止层数
2.1 大模型:
大模型决定渲出来的风格。
用素材+SD底模(如SD1.5/SD1.4/SD2.1),深度学习之后炼制出的大模型,可以直接用来生图。
大模型决定了最终出图的大方向 。
2.2 外挂VAE模型:
VAE模型类似于PS滤镜。
是对大模型的补充,稳定画面的色彩范围。
作用是:滤镜+微调。
系统自带的VAE是animevae,效果一般,建议可以使用kl-f8-anime2或者vae-ft-mse-840000-ema-pruned。
anime2适合画二次元。840000适合画写实人物。
2.3LORA模型:
它是加强某一种风格的模型。
大模型的低秩适应,可以理解为模型插件。
它是在基于某个大模型的基础上,深度学习之后炼制出的小模型。
需要搭配大模型使用,可以在中小范围内影响出图的风格,或是增加大模型所没有的东西。
如果分不清大模型、LORA模型、VAE模型,可以上这个网址查看:https://spell.novelai.dev/
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
2.4、CLIP终止层数:
它就是:对比(语言到图像)预训练。
CLIP终止层次越小,渲出的图越接近我们的提示词。数值越大越不像。
3、提示词
正向提示词:
在正向提示词框里,写出需要生成内容的提示词。
反向提示词:
在反向提示词框里,写出不需要生成内容的提示词。
3.1提示词相关性:
关于人物类的提示词,一般将提示词相关性控制在 7-15 之间。
关于建筑等大场景类的提示词,一般控制在3-7左右。
3.2 正向提示词建议书写结构:
画面主要元素,画面细节描述,景别描述,风格描述,画面质量描述。
3.3提示词的分隔与权重:
1. 提示词要用英文“ , ” 隔开。
2. SD的提示词是没有从左到右的权重的,也就是说提示词的排名不分先后。如要加减提示词的权重,可以通过括号和数字来实现。
3.4正向质量提示词(通用)
3.4.1 清爽风格的质量正向提示词:
Highest quality, ultra high definition, masterpiece, 8k quality
这段质量提示词生出的造型准确率比较高。适合二次元的风格。
3.4.2厚重风格的质量正向提示词:
{{masterpiece}},{best quality},{highres},original,reflection,unreal engine,body shadow,artstationextremely detailed CG unity 8K wallpaper
这段质量提示词生出来的全身图造型准确率比较低,主要是脸部和手部的造型有破坏。(涉及过审,部分图片已打码处理)
3.5反向提示词(可以在任何文生图中通用):
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs)))
3.6提示词融合
3.6.1“ _ ”:
在关键词和关键词之间加上“ _ ”,就可以把2种不同的东西融合在一起。如:man_chicken。
3.6.2[cat🐶2]:
[cat🐶2]:中括号里的数字“2”是可以根据效果进行调整的。
这个数字代表的是渲染A到第几张时开始渲染B。
这个目前比较好用,就是在一只动物中,有猫和狗的特征,像猫又像狗。后面的数字,是控制像猫多点还是像狗多点,要根据渲图的效果不断调试。
3.6.3[cat|dog]:
[cat|dog]:这个也是A和B融合的用法,一半是A一半是B。
3.6.4 “ and ”:
在2个或2个以上的词之间加上“and”,生出来的图就会出现这些元素。
3.6.5“ / ”:
在2个关键词之间加“ / ”,是混合的用法。如:white/yellow flower,就是生成黄色和白色混合的花。
3.7提示词隔开
3.7.1“ break ”:
在词与词之间,用“ break ”隔开,如:在银色头发、黑上衣、灰背带裤的女孩的关键词1girl,Silver hair break Black blouses break Gray pants中加入“ break ”,这样可以提高关键词的准确率。
3.8提示词权重:
括号 | ()小括号 | []中括号 | { }大括号 |
简介 | ↑ 加权, 每加一层()加权0.1 | ↓ 降权, 每加一层[]降权0.1 | ↑ 加权, 每加一层 { } 加权0.05 |
权重值 (默认值:1) | Prompt = 1 (Prompt)=1.1 ((Prompt)) = 1.21 (((Prompt)))=1.33 | Prompt = 1 [Prompt]=0.9 [[Prompt]] =0.81 [[[Prompt]]]=0.729 | Prompt = 1 {Prompt}= 1.05 {{Prompt}}= 1.1025 {{{Prompt}}}=1.15 |
加权重的快捷键:Ctrl + 上/下箭头。
关键词的权重,一般在0.5~2之间。
注意:避免个别词条权重过高,安全范围在1上下0.5左右,如果想要强调一个词条可以多写几个类似词条。
括号加数字:
例1: (white flower:1.5),含义:调节白花(white flower)权重为原来的1.5倍(增强)。
例2: (white flower:0.8),含义:调节百花(white flower)的权重为原来的0.8倍(减弱)。
3.9 提示词人物特定视角用法:
以下关键词可以控制人物的视角:
-
front view:前视角;
-
side view:侧视角;
-
back view:背后视角;
-
Top view:顶视角;
-
Bottom view:仰视角。
3.10 提示词反推(图生图里的选项):
【图生图】的功能展示:
CLIP反推:
反推出来的是自然语法的描述。也就是一句话。
DeepBooru反推:
反推出来的是标签语法。也就是一个一个词语。
4、采样迭代步数:
控制降噪的轮次,选择50就是降噪50轮之后将图像经过解码器返回给用户。
5、采样器
5.1不同采样器的渲染效果对比:
以下图片生成的正向提示词:cat,随机数种子(Seed):1242989826
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
6、Controlnet:
Control Net是一款可以对Stable Diffusion扩散模型进行精确控制的插件。能够获取参考图片的线条、法线、景深等等信息。由此,出图的确定性也较高。
6.1人物姿势
6.1.1Openpose(姿态):
Openpose(姿态)可以提取图片中角色【身体】、【身体+手指】、【身体+表情】、【表情】、【身体+手指+表情】的信息。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.2.1Canny(硬边缘):
Canny(硬边缘)识别出来的线条最多,更好地还原原图,对二次元风格比较适用。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.2.2 MLSD(直线):
MLSD(直线)只能识别直线,常用于建筑设计方面。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.2.3Lineaet(线稿):
Lineaet(线稿)可以针对不同风格的图片提取线稿。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
1、 在文生图正向提示词框中输入:lineart,best quality,masterpiece
2、 然后选择模型和线稿Lora。
3、 在ControlNet里的ControlNet Unit 0里放入需求提取线稿的原图。
4、 控制类型选 Lineart (线稿) ,记得点“爆炸”图标。
5、 最后点“生成”图片。
6.2.4 SoftEdge(软边缘):
SoftEdge(软边缘)只识别大概的轮廓,给SD更大的发挥空间。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.2.5Scribble/Sketch(涂鸦/草图):
Scribble/Sketch(涂鸦/草图)就是涂鸦,适合在前期用草图去生图。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.3空间深度
6.3.1Depth(深度):
Depth(深度)可以很好地还原物体的前后关系。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
6.4物品种类
6.4.1Segmentation(语义分割):
Segmentation(语义分割)是通过不同的颜色控制不同的物品。
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
6.5风格
6.5.1T2l-Adapter:
T2l-Adapter就是还原原图的颜色。
【图生图】的功能演示:
正向提示词:1 girl,Highest quality,ultra high definition,masterpiece,8k quality
6.5.2IP-Adapter:
IP-Adapter就是参考整张图。
【图生图】的功能演示:
正向提示词:1 girl,Highest quality,ultra high definition,masterpiece,8k quality
6.5.3Reference(参考):
Reference(参考)就是参考原图的颜色或角色。
【图生图】的功能演示:
6.5.4Normalmap(法线贴图):
Normalmap(法线贴图)就是参考原图的光影和姿势。
这个我常用于风格转换。【重绘幅度:0.5】。
【图生图】的功能演示:
图片风格生成后的效果 ↑↑↑
6.5.5Shuffle(随机洗牌):
Shuffle(随机洗牌)就是将图片的颜色混合融到新图里。
【图生图】的功能演示:
正向提示词:1 girl,Highest quality,ultra high definition,masterpiece,8k quality
6.6模糊处理
6.6.1Tile/Blur(分块/模糊):
Tile/Blur(分块/模糊)就是把画面风格块面化,有点像艺考时画的水粉画。
【图生图】的功能演示:
原图和生成后的对比 ↑↑↑
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
6.7重绘
6.7.1局部重绘:
局部重绘就是类似图生图的局部重绘,重绘画面的内容。
在文生图的正向提示词框中输入提示词:(white cat:1.8)
用【文生图】的功能演示。【图生图】模块的话,是没有“爆炸”图标的,所以不用点“爆炸”图标。(涉及过审,部分图片打码处理)
这个方法还可以用在去除不要的东西,如下面实例:
【图生图】的功能演示:
正向提示词:remove hands
局部重绘前和局部重绘后的对比 ↑↑↑
6.7.2Recolor(重上色):
Recolor(重上色)就是给照片上色。
在文生图的正向提示词中输入提示词:1girl,solo,long hair,flower,halo,dress,barefoot,dark red hair,sitting,pipe,bare legs,white dress,very long hair,hair accessory,covering navel,looking at viewer,crossed legs,smoke,Chinese clothing,hair flower,sleeveless,pink flower,feet,Hanfu,sleeveless dress,toes,bare shoulders,whole body,pink eyes,side seams,thighs,beautiful legs,holding a pipe,bangs,raising hands,open mouth,purple eyes,Highest quality,ultra high definition,masterpiece,8k quality
用【图生图】的功能演示:
原图和生成后的对比 ↑↑↑
6.8特效
6.8.1Revision:
Revision就是修正原图中的物体。
用【图生图】的功能演示:
输入正向提示词:Shape your face
原图和生成后的对比 ↑↑↑
6.9ControlNet 混合用法:
用【 文生图】的功能演示,具体操作如下:
操作要点:在ControlNet里的ControlNet Unit 0里放入要参考的角色,控制类型选 Reference (参考) ,记得点爆炸图标。在ControlNet Unit 1里放入要参考的动态,控制类型选 Openpose(姿态) ,记得点爆炸图标 。
参考角色和生成后的效果对比 ↑↑↑
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://img-blog.csdnimg.cn/img_convert/dc253db94fea35fe47fe74edb2d35b62.png)