PowerPaint：强大扩图编辑工具，兼具上下文感知和文本引导对象修复，ComfyUI体验指南

大家好我是阿道夫！！！！

在数字绘画和图像编辑领域，PowerPaint以其强大的扩图编辑功能而备受关注。它不仅能够实现上下文感知，还能够根据文本引导进行对象修复。现在，我们为你带来ComfyUI体验指南，帮助你更好地利用PowerPaint的这些强大功能。

在插件中还包含另一款PowerPaint扩图工具，也很强大，值得推荐使用。作者称是从 Brushnet 中获得灵感，因此重新训练了一个新的 PowerPaint模型，支持如文本引导的对象修复、上下文感知图像修复、可控形状拟合的形状引导对象修复和外部绘制等多功能图像修复。并且已经开源了模型权重和代码文件。同时，Brushnet 与现有的ControlNet插件兼容。

PowerPaint介绍

PowerPaint 是一款由清华大学和上海人工智能实验室共同合作的首个多功能图像修复模型，能够在各种修复任务中取得了先进的结果，如文本引导的对象修复、上下文感知图像修复、可控形状拟合的形状引导对象修复和外部绘制。

为了克服实现高质量的多功能图像修复（根据用户意图用合理内容填充用户指定的区域）这一挑战，研究团队引入了 PowerPaint方法，这是首个在同时处理上下文感知图像修复和文本引导对象修复两个任务重都表现出色的高质量多功能修复模型。

• • 首先，引入了可学习的任务提示以及定制的微调策略，明确引导模型关注不同的修复目标。这使得 PowerPaint 能够通过使用不同的任务提示完成各种修复任务，从而实现优秀的性能。

• • 其次，通过展示任务提示在 PowerPaint 中的有效性，作为对象移除的负面提示，展示了任务提示的多功能性。此外，研究团队还利用提示插值技术实现可控的形状引导对象修复。

• • 最后，在各种修复基准上广泛评估 PowerPaint，证明模型能够在多功能图像修复中的优越性能。

  

  

  

PowerPaint架构方法

PowerPaint 是对一个文本到图像的模型进行了微调，使用了两个任务提示，即 Pobj 和 Pctxt，分别用于文本引导的对象修复和上下文感知图像修复。具体来说，Pobj 可以用作负面提示，通过无分类器引导采样进行有效的对象移除。研究团队还进一步引入了 Pshape 进行形状引导的对象修复，这可以通过与 Pctxt 的提示插值进一步扩展，以控制生成的对象与遮罩形状的对齐程度。

ComfyUI PowerPaint体验

之前文章中已经介绍过ComfyUI-BrushNet的安装方法，如果已安装同学自行跳过。插件地址为：https://github.com/nullquant/ComfyUI-BrushNet。

• • 首先通过ComfyUI插件管理器搜索ComfyUI-BrushNet，并安装该插件。

• • 下载对应模型，并放置在ComfyUI/models/inpaint目录下。模型和工作流可在文末中获取。

• • 如使用PowerPaint，还需要获取 SD1.5 文本编码器模型 model.fp16.safetensors。它应该放置在本地的 models/clip 文件夹中。

• • 导入工作流，并重启ComfyUI。

插件安装界面

模型目录

在使用PowerPaint功能时候，PowerPaint作者建议在提示中添加以下短语：

• • 对象移除：empty scene blur

• • 上下文感知：empty scene

• • 外部绘制：empty scene

PowerPaint扩图体验

工作流界面

这里采用的是横向扩图设置。

01. 蛋糕

原图

效果图

02. 人物-肖像写真

原图

效果图

03. 室内-客厅

原图

效果图

04. 室内-沙发

原图

效果图

PowerPaint对象移除体验

工作流界面

关于这款对象移除功能，并不是完美，对于便于物体移除效果显著，如下面演示的植物叶，但是对于中心物体如蛋糕移除，总会产生新替代物。因此不在这里推荐该功能，只作简单演示。

01. 边缘主体移除（干净移除）

移除提示词为：leafage。能够清晰看见移除叶子。

原图

效果图

02. 中心主体移除（不完美，移除并新增物体）

移除提示词为：cake。蛋糕虽然移除了，但是新增了其他物体。

原图

效果图

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】