【小白零基础入门AI绘画】一款视频擦除和补全的ComfyUI插件

插件效果

今天介绍一款可以集成到ComfyUI工作流的视频擦除、补全插件。 该插件可以通过关键字擦除视频中的对象，已经对视频元素进行画面补全。

擦除指定物体视频中，骑单车的男孩被完美擦除了。

补全视频视频中，白色的污点被自动填充补全了。

对于视频制作者来说，这个技术将让擦除和补全变得更加轻松。

背后技术

该插件的背后技术是来自南洋理工大学S-Lab的ProPainter。项目地址：https://shangchenzhou.com/projects/ProPainter/。 以下是该论文的一些概要：

这篇论文介绍了一个名为ProPainter的视频修复框架，旨在改善视频修复中的传播（Propagation）和变换器（Transformer）机制。以下是对论文的主要内容的总结：

标题

ProPainter: Improving Propagation and Transformer for Video Inpainting

作者

Shangchen Zhou, Chongyi Li, Kelvin C.K. Chan, Chen Change Loy，来自南洋理工大学S-Lab。

主要贡献

1. 双域传播（Dual-domain Propagation）：结合了图像和特征域的优势，利用全局一致性来提高信息传播的可靠性。

2. 蒙版引导的稀疏视频变换器（Mask-guided Sparse Video Transformer）：通过丢弃不必要的冗余窗口来提高效率。

3. 性能提升：ProPainter在保持高效率的同时，在PSNR（峰值信噪比）上比现有方法提高了1.46 dB。

视频修复（Video Inpainting）的挑战

• 需要在视频的缺失或损坏区域填充视觉上一致的内容。

• 确保空间和时间上的连贯性。

• 需要在远距离帧之间建立准确的对应关系以聚合信息。

相关工作

• 3D卷积网络、视频内部学习、光流引导传播和视频变换器等方法被探索用于视频修复。

方法论

• 循环光流完成（Recurrent Flow Completion, RFC）：独立完成光流场，为后续传播模块提供精确的光流场。

• 双域传播（Dual-Domain Propagation, DDP）：在图像和特征域中分别执行全局和局部传播。

• 蒙版引导的稀疏视频变换器（Mask-guided Sparse Video Transformer, MSVT）：针对视频修复任务设计的高效变换器，通过稀疏策略减少计算复杂度和内存消耗。

实验

• 使用YouTube-VOS和DAVIS数据集进行训练和评估。

• 采用PSNR、SSIM和VFID等指标评估重建性能和视频输出的感知相似性。

结果

• ProPainter在定量和定性评估中均优于现有方法，特别是在DAVIS数据集上表现突出。

• 通过消融研究验证了图像传播、特征传播和稀疏变换器的有效性。

PixPin_2024-05-25_19-41-33.gif

PixPin_2024-05-25_19-41-58.gif

PixPin_2024-05-25_19-42-26.gif

结论

ProPainter通过增强的双域传播和高效的蒙版引导稀疏视频变换器，提供了一个可靠、精确且高效率的视频修复解决方案。

ComfyUI插件安装与使用

通过ComfyUI这个插件，可以把这套技术嵌入到工作流中，实现如批量处理，擦除、补全、合成等流程化视频处理。 接下来我们看看如何安装。

ComfyUI 管理器:

你可以使用 ComfyUI 管理器来安装节点：

搜索 ComfyUI ProPainter Nodes 以及作者 daniabib。

手动安装:

将此仓库克隆到 ComfyUI/custom_nodes:

（需要的同学可以自行扫描获取）

还有一步

需要注意的是，ProPainter插件没有抠图功能，所以遮罩要用另外的方法生成，这里用到了另外一个插件，是ZHO大佬的ComfyUI-BiRefNet

把ComfyUI-BiRefNet和ProPainter一起连连看就可以打造完整的工作流啦。另外，BiRefNet 模型是目前最好的开源可商用背景抠除模型，大家可以放心使用。

效果实测

工作流

截图如下：

视频载入

抠出主体

填充

输出

实测效果

移除对象。

可以看到移除的效果还是很不错的。

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】