Stable Diffusion【进阶篇】:图片中指定元素的移除

大家好,在图像处理中,去掉图片中不想要的元素是一种常见的应用场景,比如去掉图片中的水印、旅游拍的照片中P掉路人等等。随着AI技术的普及,目前可以精准地抹除掉照片中不想要的元素。今天我们分享在SD中2种实现图片中指定元素的移除方法。(文末附籽料)

我们以下面一张图片为例,我们需要移除掉图片中的女孩。

一. 图生图局部重绘实现

【第一步】:局部重绘图片上传以及相关参数设置

使用右上角红框的画笔,将整个人物区域涂白。

下面进行相关参数设置。

  • 蒙版模式:重绘蒙版内容,针对我们使用画笔涂白的地方进行重绘。

  • 蒙版区域内容处理:原图,只针对原图片的基础上进行一个小的改动

  • 重绘区域:整张图片

  • 采样器:DPM++SDE Karras

  • 采样迭代步数:30

  • 图片宽高:保持和上传的图片宽高一致。

  • 重绘强度:设置为1

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

【第二步】提示词的编写

如果我们知道上传图片的提示词,可以直接将图片的提示词复制过来。

如果我们不知道上传图片的提示词,使用Tagger插件的反推获取提示词。

原图片的提示词:

(Masterpiece, Best Quality, High Quality, Highres:1.4), Detailed, Extremely Detailed, Ambient Soft Lighting, 4K, (Extremely Detailed Eyes Face and Skin:1.2), (Desaturated:1.2),

Outdoors, Moutains, Nature, Day, Forest, Rocks, Wooden House, (Detailed Foliage, Detailed Grass:1.4), (Tall Grass:1.2),

1Girl, (Solo:1.4), Upper Body, Standing,

Brown Hair, Floating Hair, Short Hair,

因为我们需要移除人物,这里去掉人物描述相关的提示词,最后提示词如下:

(Masterpiece, Best Quality, High Quality, Highres:1.4),Detailed,Extremely Detailed,Ambient Soft Lighting,4K,(Desaturated:1.2),

no **humans,**Outdoors,Moutains,Nature,Day,Forest,Rocks,Wooden,(Detailed Foliage, Detailed Grass:1.4),(Tall Grass:1.2),

【第三步】大模型的选择以及图片的生成

由于图片是二次元图片,选择一个二次元的图片的大模型即可。

由于本文中的原图片来自大模型DivineEleganceMix,所以这里我们使用该模型,对应的版本是V5版本。

点击【生成】按钮,批次生成多张照片,抽签选择一张效果如下。

上面的图片移除人物后与原图片风格保持了一致。但是仔细一看,发现填补地并不好,在原本人物的位置,尤其是边界处与原图片融合的并不好。我们再看一下生成的另外2张照片,在边界处与原图片融合效果就更加明显了。

可见通过图生图局部重绘的方式移除指定元素,虽然风格保持了一致,但是填补的并不好,容易生成了一些奇怪的东西,并且在边界处融合的也不是很好。当然我们也可以在此基础上使用PS工具对图片进行二次处理,把边界处处理一下,使图片看起来更加自然和谐。

二. 通过ControlNet inpaint控制模型实现

【第一步】:ControlNet的参数设置

相关参数设置如下:

  • 控制类型:选择"局部重绘"

  • 预处理器:inpaint_global_harmonious(重绘-全局融合算法)

  • 模型:control_xxx_inpaint

  • 控制权重 : 设置为1

这里预处理器选择inpaint_global_harmonious,主要是它是将原图进行重新绘制,然后只取蒙版部分填补进来。这种预处理器算法的优点就是重绘部分和整体的融合程度最高,可以有效的弥补图生图局部重绘边界融合不好的问题。

【第二步】提示词的编写

这里我们仍然使用图生图局部重绘的提示词:

(Masterpiece, Best Quality, High Quality, Highres:1.4),Detailed,Extremely Detailed,Ambient Soft Lighting,4K,(Desaturated:1.2),

**nohumans,**Outdoors,Moutains,Nature,Day,Forest,Rocks,Wooden,(Detailed Foliage, Detailed Grass:1.4),(Tall Grass:1.2),

【第三步】大模型的选择以及图片的生成

和图生图局部重绘一样,使用相同大模型DivineEleganceMix。

点击【生成】按钮,批次生成多张照片,抽签选择一张效果如下。

移除美女人物后,在蒙版区域还是生成了一些新的元素,但是边界处图片融合效果还是比较好的,看不出来边界痕迹。

不过我们再仔细查看生成的图片,图片中的美女确实已经去掉了,但是画面风格好像有点不太一样(草地和树都没有原图片那么绿了)。

这里我们调整一下ControlNet对图片的控制参数,我们将控制权重设置为最大值2,尽量保持原图的风格。控制模式修改为“更偏向提示词”。

我们再看一下生成图片的效果。

相比上一张生成的图片,效果稍微要好些。

相关说明:

(1)不管是图生图局部重绘还是ControlNet inpaint模型,如果图片中需要去除的元素占比较大,比如本文图片中的美女,将美女移除的时候,很容易产生一些新的元素。比如下面的图片,将美女移除的时候,蒙版区域填充了一只羊,如果我们想蒙版区域不出现我们想要的元素,可以在反向提示词中指定关键词即可,比如 animals。

(2)不管是图生图局部重绘还是ControlNet inpaint模型去除图片中指定的元素,只使用SD工具真正要达到比较好的效果还是比较困难的,后期需要借助PS等工具再次加工处理。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值