就在我以为蒙版换脸已经是AI绘画“基操”的时候,群里有朋友说他用AI画出来的脸总是胡辣汤一盆,有没有好的亚洲邪术教程?
本篇总结 Stable Diffusion
万物重绘的好用方法。文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
蒙版换脸是 Stable Diffusion “局部重绘”的一个具体应用,核心技法有两块:如何精确的选择要重绘的区域,以及重绘时的技巧。
选择重绘区域又叫做“蒙版制作”,顾名思义就是把图片上某个区域“蒙”起来打一顿。根据自动化程度、准确性和复杂程度的不同,我把它分成了三个阶段。
为了能得到一张“脸糊了”的演示图片,我特地在低尺寸下生成了一张图:
点击发送生成物到“>>局部重绘”
初阶蒙版:手绘
在“局部重绘”面板右边,点击画笔把画笔直径调整到方便操作的精度,然后把脸涂黑。这种方式适合希望临时or局部小修小改一下,对精度要求不高的场景。优点是简单快速。
进阶自动化蒙版:Segment Anything 分区插件
插件安装地址:https://github.com/continue-revolution/sd-webui-segment-anything
插件界面
用法说明:
1 插件有三种分区模型,主要看硬件条件。显卡不太好的选 sam_vit_l
2 让插件模型识别区域有两个方式:点阵提示词和明文提示词
点阵提示词,就是通过点涂,指引模型做区域识别。鼠标左键点出来的黑点 标识希望被识别到的区域,右键点出来的红点
标识不希望被识别到的、或者想要隔离开的区域。下面是一个示例:
希望识别的区域是脸,不希望识别的区域是左边头发、右边头发、衣服和右边脸之外的环境,都打上红点。点击下面的预览后会默认提供三个识别结果。可以看到识别效果杠杠的,比初阶自己手涂要精确很多了。
明文提示词,则是通过提示词来引导模型,对图像做区域识别,如图填入希望识别的器官,比如眼睛、脸、头发。把下图中另外两个选项也勾上方便预览:
选择 Generate bounding box
后,会根据你提供的提示词,精准识别图像区域,同时分别做标号。你可以根据需要,多选标号,把标号区域都制作成蒙版,或者只制作单个识别对象的蒙版
比如当我只选择0号时,就只会制作一个头发的蒙版
想象一下你要自己把这么细碎不规律的头发用手抠出来多么麻烦。
同时选择1、2、3,我们就得到了期望的脸部蒙版
模板生成出来后,点击放大,右键另存为,后面重绘用。
高阶蒙版:Inpaint Anything 插件:重绘一切
插件地址:https://github.com/Uminosachi/sd-webui-inpaint-anything
这个插件名字听起来就很牛逼,事实上也的确很牛逼。安装后,你的标签面板上会多出一个同名标签。载入那张糊了脸的底图,点击
Run,就会把整张图片所有能被识别到的区域,都自动识别出来:
你只需要在你希望生成模板的区域,用鼠标左键点击即可,比如我这里点了耳朵和脸,然后点击 Create Mask,即生成了对应的蒙版。
左侧区域自带重绘功能,可以直接从文生图或者图生图里面导入提示词进行重绘
以上两个插件都需要下载自有模型,如果下载有困难的文末扫码找我拿~
为了方便演示,这里假设你已经通过上面的进阶蒙版方法,得到了一张蒙版。选择图生图的“局部重绘(上传蒙版)”,把那张糊脸原图和蒙版加载进来。
四个划线的参数是基操,没解释,照着做。右边那个数字主要是用来控制重绘出来的东西和原图的融合程度。数字小就会显得割裂和分离。默认32不用动。
然技巧环节。对于重绘质量影响的几个关键要素分别是:采样模型的选择、采样迭代步数、宽度和高度、重绘幅度、ADTAILER。我们采用控制变量法进行重绘效果比对:
不变量:尺寸 360*360 重绘幅度 0.5 采样迭代步数 20
不同采样方法 原图 、 Eular a 、 DPM++ 2 Sa Karras
不变量:采样方法 Eular a 重绘幅度 0.5 采样迭代步数 20
不同尺寸 :原图 360360、512512
不变量:采样方法 Eular a 重绘幅度 0.5 尺寸 360*360
不同采样迭代步数 :原图20、48
**不变量:采样方法 Eular a 尺寸 360*360 采样迭代步数 20
**
不同重绘幅度:原图、0.33、0.44、0.55、0.6、0.75
原图 vs +AdTailer
所以我们得出了(面部)重绘的一些黄金经验:
1 最佳重绘尺寸是512*512
。这个数值的理论支撑是,大多数大模型的训练素材都是这个尺寸的。理论上768或者1024也行,看你的显卡。小了当然会糊,这也是为什么我绞劲脑汁用360才生成了糊脸演示用底图
2 DPM 系列模型的重绘能力优于 Eular a
3 与原图神似的最佳重绘幅度是 0.3 - 0.5
4 慎用大采样步数 ,避免在 Eular a 这类模型上面使用大步数,容易变形
5 ADTailer是神器 ,建议作为出任何图形的默认配置加到提示词中。
最后是迭所有buff于一身的重绘效果对比。结果图重绘了两次,第一次重绘了脸,第二次用反向蒙版把除了脸以外的其他部分重绘了一遍。
现在AI绘画还是发展初期,大家都在摸索前进。
但新事物就意味着新机会,我们普通人要做的就是抢先进场,先学会技能,这样当真正的机会来了,你才能抓得住。
如果你对AI绘画感兴趣,我可以分享我在学习过程中收集的各种教程和资料。
学完后,可以毫无问题地应对市场上绝大部分的需求。
这份AI绘画资料包整理了Stable Diffusion入门学习思维导图、Stable Diffusion安装包、120000+提示词库,800+骨骼姿势图,Stable Diffusion学习书籍手册、AI绘画视频教程、AIGC实战等等。
完整版资料我已经打包好,点击下方卡片即可免费领取!
【Stable Diffusion学习路线思维导图】
【Stable Diffusion安装包(含常用插件、模型)】
【AI绘画12000+提示词库】
【AI绘画800+骨骼姿势图】
【AI绘画视频合集】
这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!