2024最新controlnet详解：Inpaint 局部重绘的使用方法

已于 2024-06-28 16:48:42 修改
阅读量2.6k 收藏 6
点赞数 23
文章标签： 人工智能 stable diffusion AIGC AI作画
于 2024-06-28 09:35:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yu91an/article/details/140033658
版权

在本教程中，我们将介绍如何使用Stable Diffusion WebUI中的ControlNet的inpaint_only预处理器进行AI扩图。通过这一预处理器，您可以轻松地对图像进行局部修复和重绘，使其达到更加理想的效果。

使用方法基本和图生图的局部重绘类似，但是也有些区别：

  1. inpaint 支持弱提示词，无提示词修复
  2. 使用更简单方便
  3. 对于蒙版的涂抹边缘要求更低

步骤一：设置基本参数

【大模型】AWPainting1.4 模型

【采样方法】DPM++ 2M Karras

【采样步数】20

【提示词】1girl，或者写你想要修改的部分，比如我下图想重绘面部生成眼镜，你就可以写个glasses

【尺寸】768*76

步骤二：加载图像

  1. 打开Stable Diffusion WebUI。
  2. 在主界面上，打开 controlNet 菜单，启用局部重绘。它会自动选择inpaint_only 预处理器。或者你手动选择在预处理器下拉菜单中，选择“inpaint_only”。
  3. 点击“上传”按钮，选择您希望处理的图像。

image.png

步骤三：设置Inpainting区域

image.png

  1. 使用鼠标在图像上绘制一个区域，该区域将作为需要修复或重绘的部分。
  2. 您可以调整绘制区域的大小和位置，确保覆盖需要修复的部分。

步骤四：执行Inpainting

  1. 设置好参数后，点击“生成”按钮。
  2. 稍等片刻，系统将处理图像并展示生成结果。

image.png

image.png

AI 扩图

以下是一个使用inpaint_only+lama预处理器进行AI扩图的示例：

还是使用刚刚的图像，但是修改了预处理器inpaint_only+lama，并且控制模式选择更偏向 controlNet，还要把缩放模式改成填充空白

  1. CN 设置

image.png

image.png

  1. 修改图片尺寸

因为要 AI 扩图所以我们可以把宽高设置大一点，提示词可以不用设置或者放到 WD 标签器反推一下关键词，或者设置你想要扩充的内容

image.png

  1. 生成结果

inpaint_only+lama 会根据尺寸进行 AI 扩图

image.png

image.png

3 种预处理器对比

inpaint_only 代表只对蒙版内容进行重绘

inpaint_only+lama 这个是对 inpaint_only 一个改良，在重绘钱抹除原图区域内较为突出的内容，处理的结果就是会更干净一些

inpaint_global_harmonious更加侧重蒙版区域的融合，为了融合蒙版区域会改动蒙版以外区域，由于是全局重绘，所以会原图可能对有比较明显的改动

注意事项

  • 确保选择的修复区域尽量精确，以获得最佳的修复效果。
  • 根据实际需要调整参数，以实现理想的图像修复效果。

通过以上步骤，您可以轻松使用Stable Diffusion WebUI中的ControlNet的inpaint_only预处理器对图像进行AI扩图和局部重绘。希望本教程对您有所帮助！

站长素材AI教程是站长之家旗下AI绘图教程平台

海量AI免费教程，每日更新干货内容

想要深入学习更多AI绘图教程，请访问站长素材AI教程网：

AI教程_深度学习入门指南 - 站长素材 (chinaz.com)

ChinaZ.AI
关注
Stable Diffusion - ControlNet 插件中扩展局部重绘 InpaintOnly + LaMa 算法与应用
Mystra
07-10 4687
LaMa:尽管现代图像修复系统已经取得了显著的进步，但是在处理大面积缺失、复杂的几何结构和高分辨率图像方面，常常面临挑战。其中一个主要的原因是修复网络和损失函数中缺乏有效的接收视野。为了解决这个问题，提出了一种新的方法，称为LaMa 修复网络在一系列数据集上改进了最新的技术水平，并且在面临挑战的情况下，例如完成周期性结构，也取得了优秀的性能。LaMa 模型令人惊讶地能够很好地适应训练时未见过的更高分辨率，且在参数和时间成本上比竞争基线更低。
ComfyUI 基础教程（十四）：ComfyUI中4种实现局部重绘方法
细节控-AI先行者的博客
05-06 1596
在中有多种方式可以实现，简单的方式是使用VAE内补编码器进行局部重绘，也可以用进行局部重绘，还可以用controlNet的inpaint模型进行局部重绘！
Stable Diffusion绘画 | ControlNet应用-Inpaint(局部重绘)：更完美的重绘
Leo-Fighting的博客
09-06 859
Inpaint(局部重绘) 相当于，不但可以进行局部画面的修改，还可以去除背景中多余的内容，或者是四周画面内容的扩充。
Stable Diffusion 4.8.7升级版更新，Ai绘画风口已来！（无需部署，解压即用）
weixin_55154866的博客
05-30 665
2024可以称得上是Ai技术大爆发的元年，目前两款Ai神器大火，一款是大名鼎鼎的Chat GPT。 另外一款大火的是本期社长介绍的Ai绘图软件—Stable Diffusion。
Stable Diffusion面部修复！ADetailer超详细简易技巧教学（附插件安装包）
最新发布
m0_58477260的博客
09-14 614
今天我们主要介绍stable diffusion 的ADetailer extension脸部的修复面部！
用ControlNet+Inpaint实现stable diffusion模特换衣
weixin_42010722的博客
05-24 1132
删除任何内容填充任何内容替换任何内容删除任何3D删除任何视频- 点击一个对象- 点击一个对象- 点击一个对象- 单击源视图的第一个视图中的对象- 点击视频第一帧中的对象- 分割模型SAM将对象分割出来- SAM将目标分割出来- SAM将目标分割出来- SAM将对象分割出来（使用三个可能的掩码）- SAM将对象分割出来（使用三个可能的掩码）- 修复模型填补“窟窿”- 输入文字提示- 输入文字提示- 选择一个掩码- 选择一个掩码。
AI绘画Stable Diffusion：ControlNet插件inpaint_only一键扩图，竖屏变横屏大图教程！
白帽阿叁的博客
05-22 1259
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。原图的分辨率为1:1，这里改为16:9的分辨率，以确保实现扩图的效果。
局部重绘，艺术再创造 ——AI绘画 Stable diffusion 神级插件 inPainting功能详解与实战指南
A1353192296的博客
06-24 1001
在AI绘画的世界里，我们常常面临这样的困境：一幅作品，除了手部姿势、面部表情其他都很完美；这时候，如果要重新生成整幅画，不仅效率低下，而且可能会破坏原本满意的部分。幸好，StableDiffusion 的inPainting功能可以精准地修复和优化画面中的局部区域，让你的创作更加得心应手。今天，就让我们一起探索这项强大的功能，手把手教你如何玩转局部重绘！
【ai绘画】controlnet插件补图
zxl786981的博客
08-17 495
ai绘画，controlnet补图，inpaint插件
探索图像创新：ControlNetInpaint——你的视觉创意伙伴
gitblog_00032的博客
05-26 524
探索图像创新：ControlNetInpaint——你的视觉创意伙伴 去发现同类优质开源项目:https://gitcode.com/ 在这个数字时代，我们常常希望将想象力融入现实世界，而ControlNetInpaint就是这样一个神奇的工具，它能够帮助你在已有图片的基础上进行创新性地修改和重绘。这个开源项目结合了先进的ControlNet模型和StableDiffusion inpaintin...
ControlNet对象详解：点赞功能实现与属性解析
"GBZ26157.10 ControlNet EtherNetIP - 微信小程序点赞、取消点赞功能" 在微信小程序开发中，实现点赞、取消点赞功能涉及到用户交互和后端数据处理。通常，这个功能是通过以下几个步骤来完成的： 1. **用户界面...
stable diffusion模型管理和controlnet最新支持SDXL模型下载.pdf
05-24
综上所述，ControlNet 现已新增了对 SDXL 模型的支持，并增加了大量的模型资源，包括支持 SD1.5 的 21 个模型和支持 SDXL 的 44 个模型，大大丰富了用户的使用场景和创作可能性。 --- 通过上述介绍，我们可以看出...
ControlNet技术详解：从 Peer-to-Peer 到 Industrial IoT
"ControlNet是一种工业网络协议，用于实现设备间的实时通信，特别是在自动化和控制系统中。该系统由Rockwell Automation于1995年推出，并在1996年成立了ControlNet International TM，旨在推动其标准化，使其符合IEC...
Stable Diffusion 绘画入门教程（webui）-ControlNet(Inpaint）
欢迎关注免费星球ComfySpace：https://t.zsxq.com/19H0cfM1O
02-25 1101
上篇文章介绍了语义分割Tile/Blur，这篇文章介绍下Inpaint（重绘） Inpaint类似于图生图的局部重绘，但是Inpain效果要更好一点，和原图融合会更加融洽
controlnet inpainting
liguandong
08-19 369
2.专用修复模型，通过扩展基础扩散模型的输入通道维度，以整合提供的masked图像和mask，对专门设计的图像修复模型进行微调。阿里妈妈的几个开源出来的应用中，基于controlnet-inpaint训练了sdxl和sd3两个版本的，其中EcomXL-controlnet-inpaint，第一阶段，该模型在12M laion2B和内部图像上训练，使用随机掩码，每步20k，第二阶段，该模型在3M电子商务图像上进行训练，使用instance mask，每步20k。
可图开源专属 ControlNet 模型以及 Inpainting 模型，更多玩法，更强生态！
小王的储物间
07-29 767
她还穿着一条蓝色百褶裙，超高清，辛烷渲染，高级质感，32k，高分辨率，最好的质量，超级细节，景深。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。提示词：新海诚风格，丰富的色彩，穿着绿色衬衫的女人站在田野里，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
AI绘画 | ControlNet系列模型及应用场景
A2421417624的博客
09-05 1011
大家好，我是爱绘画的彤姐。“ ControlNet，直译就是控制网络，它本质上是stable-diffusion-webui的扩展插件。本期是简单介绍模型及其应用场景，之前出过部分模型的应用案例。”Controlnet，一个多功能的控制工具，其作用可以类比于图像和视频的调色过程。在调色中，无论是对静态图片还是动态视频，我们都依赖于一系列专业工具来实现色彩的精准调控。这包括白平衡的校准，色温的调节，色相和饱和度的调整，以及亮度的优化。为了提升画质，我们还会使用蒙版降噪和锐化技术。
ControlNet on diffusers
weixin_44966641的博客
12-15 745
参考：https://huggingface.co/docs/diffusers/using-diffusers/controlnet v0.24.0ControlNet 通过输入给 diffusion 模型一个额外的输入图作为条件，来控制生成图的结果。这个条件输入图可以是各种形式，如 canny 边缘、用户的手稿、人体姿态、深度图等。这无疑非常有用，我们终于能更好地控制生成图的结果了，而无需再去反复调一些文本 prompt 或去噪步数之类的参数来抽奖。
AI绘图（7）stable diffusion 绘图 局部重绘
牧子川的博客
08-15 1465
使用 stable diffusion的图生图功能中的局部绘制，并且通过candy模型进行模型细调
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值