大家好我是安琪!!!今天主要是介绍BrushNet
这个由腾讯PCG和香港中文大学联合共同提出的一种新颖的可插拔双分支模型,该模型是在将像素级遮罩图像特征嵌入到任何预训练的扩散模型中,保证连贯且增强的图像修复结果。
在插件中还包含另一款PowerPaint
扩图工具,也很强大,值得推荐使用。作者称是从 Brushnet
中获得灵感,因此重新训练了一个新的 PowerPaint
模型,支持如文本引导的对象修复、上下文感知图像修复、可控形状拟合的形状引导对象修复和外部绘制等多功能图像修复。并且已经开源了模型权重和代码文件。同时,Brushnet
与现有的ControlNet
插件兼容。
- 需要的同学可自行扫描获取
![](https://img-blog.csdnimg.cn/img_convert/b80b2b6d16b3f6865a948e0d8cf95cc5.png)
PowerPaint介绍
PowerPaint 是一款由清华大学和上海人工智能实验室共同合作的首个多功能图像修复模型,能够在各种修复任务中取得了先进的结果,如文本引导的对象修复、上下文感知图像修复、可控形状拟合的形状引导对象修复和外部绘制。
为了克服实现高质量的多功能图像修复(根据用户意图用合理内容填充用户指定的区域)这一挑战,研究团队引入了 PowerPaint方法,这是首个在同时处理上下文感知图像修复和文本引导对象修复两个任务重都表现出色的高质量多功能修复模型。
-
• 首先,引入了可学习的任务提示以及定制的微调策略,明确引导模型关注不同的修复目标。这使得
PowerPaint
能够通过使用不同的任务提示完成各种修复任务,从而实现优秀的性能。 -
• 其次,通过展示任务提示在
PowerPaint
中的有效性,作为对象移除的负面提示,展示了任务提示的多功能性。此外,研究团队还利用提示插值技术实现可控的形状引导对象修复。 -
• 最后,在各种修复基准上广泛评估
PowerPaint
,证明模型能够在多功能图像修复中的优越性能。
PowerPaint架构方法
PowerPaint 是对一个文本到图像的模型进行了微调,使用了两个任务提示,即 Pobj
和 Pctxt
,分别用于文本引导的对象修复和上下文感知图像修复。具体来说,Pobj
可以用作负面提示,通过无分类器引导采样进行有效的对象移除。研究团队还进一步引入了 Pshape
进行形状引导的对象修复,这可以通过与 Pctxt
的提示插值进一步扩展,以控制生成的对象与遮罩形状的对齐程度。
ComfyUI PowerPaint体验
之前文章中已经介绍过ComfyUI-BrushNet
的安装方法,如果已安装同学自行跳过。插件地址为:https://github.com/nullquant/ComfyUI-BrushNet。
-
• 首先通过
ComfyUI
插件管理器搜索ComfyUI-BrushNet
,并安装该插件。 -
• 下载对应模型,并放置在
ComfyUI/models/inpaint
目录下。模型和工作流可在文末中获取。 -
• 如使用
PowerPaint
,还需要获取 SD1.5 文本编码器模型model.fp16.safetensors
。它应该放置在本地的models/clip
文件夹中。下载地址为:https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main/text_encoder -
• 导入工作流,并重启ComfyUI。
插件安装界面
模型目录
在使用PowerPaint
功能时候,PowerPaint作者
建议在提示中添加以下短语:
-
• 对象移除:
empty scene blur
-
• 上下文感知:
empty scene
-
• 外部绘制:
empty scene
PowerPaint扩图体验
工作流界面
这里采用的是横向扩图设置。
01. 蛋糕
原图
效果图
02. 人物-肖像写真
原图
效果图
03. 室内-客厅
原图
效果图
04. 室内-沙发
原图
效果图
PowerPaint对象移除体验
工作流界面
关于这款对象移除功能,并不是完美,对于便于物体移除效果显著,如下面演示的植物叶,但是对于中心物体如蛋糕移除,总会产生新替代物。因此不在这里推荐该功能,只作简单演示。
01. 边缘主体移除(干净移除)
移除提示词为:leafage。能够清晰看见移除叶子。
原图
效果图
02. 中心主体移除(不完美,移除并新增物体)
移除提示词为:cake。蛋糕虽然移除了,但是新增了其他物体。
原图
效果图
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】