Inpaint Anything: 自动化抹除视频元素

已于 2023-07-28 16:28:08 修改
阅读量1.5k 收藏 2
点赞数 1
分类专栏： vision / segmentation 文章标签： vision video tracking
于 2023-07-28 15:57:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JishuFengyang/article/details/131981378
版权

自动化抹除视频元素

不用逐帧抠图，直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

在这里插入图片描述

https://github.com/geekyutao/Inpaint-Anything

目录

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

原理就是，只要在视频的第一帧点击下要抹除的目标，tracking模型随即开始跟踪目标并输出对应的bounding box；这个bounding box可以作为SAM的prompt实现分割，即得到每一帧的目标mask；有了mask之后，video inpainting模型就可以进行填补了，目标物体随之从视频中抹去。

理论上上述方法非常可行有效，但做实验下来，发现实际瓶颈在于目前的video inpainting模型的效果不是非常好，导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

猛码Memmat
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
2019 - CVPR - 视频修复 Video Inpainting论文导读 -《Deep Flow-Guided Video Inpainting》
m0_51339444的博客
04-06 1273
2021 - CVPR - 视频修复 Video Inpainting论文导读 -《Deep Flow-Guided Video Inpainting》
VIDEO INPAINTING OF COMPLEX SCENES
ruiZjun的博客
12-01 1791
VIDEO INPAINTING OF COMPLEX SCENESAlasdair Newson† ‡, Andr´es Almansa ‡, Matthieu Fradet †, Yann Gousseau ‡, and Patrick P´erez †文章链接 代码链接摘要： 　　提出patch-based的全局优化自动视频修复算法，能够处理各种各样视频中自然出现的情况，比如重构动态纹理
【探索视频修复的未来】—— 内隐内部视频修复（Implicit Internal Video Inpainting）
最新发布
gitblog_00032的博客
06-08 640
【探索视频修复的未来】—— 内隐内部视频修复（Implicit Internal Video Inpainting） 项目地址:https://gitcode.com/Tengfei-Wang/Implicit-Internal-Video-Inpainting 在数字时代，视频已成为信息传播的核心形式之一，但如何高效处理视频中的瑕疵或移除不需要的对象？【内隐内部视频修复（Implicit Int...
video Inpainting 方法
hibive的专栏
04-03 1260
 
（DSTT）Decoupled Spatial-Temporal Transformer for Video Inpainting
简单记录生活、学习
01-06 5906
Abstract Video inpainting aims to fill the given spatiotemporal holes with realistic appearance but is still a challenging task even with prosperous deep learning approaches. Recent works introduce the promising Transformer architecture into deep video i
（STTN）Learning Joint Spatial-TemporalTransformations for Video Inpainting
简单记录生活、学习
01-08 5656
In summary, our main contribution is to learn joint spatial and temporal transformations for video inpainting, by a deep generative model with adversarial training along spatial-temp
VapourSynth-Inpaint:用于图像修复的VapourSynth插件
04-30
VapourSynth-Inpaint是一款基于VapourSynth框架的图像修复插件，专为视频编辑和后期制作中的图像修复工作设计。VapourSynth是一个开源的视频处理库，提供快速、高效的脚本语言，允许用户进行复杂的视频处理操作。这...
inpaint_nans:内插（和外推）二维数组中的NaN元素。-matlab开发
05-30
使用非 NaN 元素在二维数组中插入 NaN 元素。 也可以外推，因为它不使用数据的三角剖分。... 目前在 inpaint_nans 中发现的所有方法都基于稀疏线性代数和 PDE 离散化。 本质上，PDE 被求解为与提供的信息一致。
图片去除水印工具Inpaint2.1
04-17
Inpaint2.1是一款专为去除图片水印而设计的软件，它的核心功能在于通过智能算法分析图片，将目标区域的水印或其他不需要的部分无缝地替换为周围的背景，使得处理后的图片看起来如同从未有过任何干扰元素。...
inpaint去除图片上水印一款小软件
03-21
通常，手动去除水印可能需要花费大量时间和耐心，而Inpaint则通过自动化工具大大简化了这一过程，让用户能在短时间内完成任务，提高了工作效率。 在压缩包文件的文件名称列表中，只有一个名为"Inpaint"的文件，这很...
Teorex.Inpaint 去除照片上的物体(水印等)
05-28
《Teorex.Inpaint：轻松去除照片上的水印与不必要元素》 在数字图像处理领域，有时我们可能需要从照片中去除某些不需要的元素，比如水印、瑕疵或者不想要的背景。这时，一款强大的工具如Teorex Inpaint就显得尤为...
Deep-Flow-Guided-Video-Inpainting:pytorch实现的“深流引导的视频修复”（CVPR'19）
05-12
深流引导的视频修复 | | | 安装与要求 该代码已在pytorch = 0.4.0和python3.6上进行了测试。 请参阅requirements.txt以获取详细信息。 或者，您可以使用提供的运行它。 安装python软件包 pip install -r requirements.txt 安装flownet2模块 bash install_scripts.sh 配件 此仓库中包含三个组件： 视频修复工具：DFVI 提取流程：FlowNet2（由修改） 图像修复（从重新实现） 用法 要使用我们的视频修复工具删除对象，建议将帧放置在xxx/video_name/frames ，并将每个帧的遮罩放置在xxx/video_name/masks 。 并且请从下载演示和模型权重的资源。 包含帧和蒙版的示例演示已放入演示中，运行以下命令将获得结果： python tools/v
MyDLNote-Inpainting: 2020 ECCV 视频补全论文速读 Video Inpainting
u014546828的博客
10-14 1894
DVI: Depth Guided Video Inpainting for Autonomous Driving [paper] [code] Target : To get clear street-view and photo-realistic simulation in autonomous driving, we present an automatic video inpainting algorithm that can remove traffic agents from vide
2020 - ECCV - VideoInpainting 论文导读 -《Flow-edge Guided Video Completion》
m0_51339444的博客
04-08 530
2020 - ECCV - VideoInpainting 论文导读 -《Flow-edge Guided Video Completion》
Learning Joint Spatial-Temporal Transformation for Video Inpainting
qq_34186974的博客
11-12 871
ECCV2020的文章，中山大学和微软亚研院 把transformer应用于video inpainting，解决逐帧修复造成的时序不一致的问题。 paper地址 github地址 文章目录总述Network实验 总述 SOTA方法采用注意力模块在reference帧中寻找缺失区域进行逐帧的内容填充，但是这种方法可能会在空间和时间维度上受到不一致的注意力结果的困扰，导致视频中出现模糊和时间伪影。这篇论文提出STTN（spatial temporal transformer network），同时填充所有输.
2021CVPR-Video Inpainting 论文导读 《Progressive Temporal Feature Alignment Network for Video Inpainting》
m0_51339444的博客
04-01 1153
2021 CVPR-Video Inpainting 论文导读 《Progressive Temporal Feature Alignment Network for Video Inpainting》
论文 Copy-and-Paste Networks for Deep Video Inpainting 学习笔记
qq_39546227的博客
09-05 2219
视频修复（video inpainting） 视频修复相比图像修复增添了挑战：考虑额外的瞬时信息并保持瞬时相关性。 作者设计了一个基于 DNN 的框架叫做 Copy-and-Paste 网络，该网络在进行视频修复时利用了视频中其他帧的信息。 训练后的网络能够从参考帧中复制有用的像素点并填补目标帧中的空洞。 网络还包括一个对齐网络用来计算不同帧之间的放射矩阵并对齐帧，使得网络能够利用与目标帧相隔较大...
GAN + Video Inpainting的一些思考和相关论文
简单记录生活、学习
04-19 890
DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network（图像恢复-去除阴影） code and paper:DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network | Papers Wit.
inpaint anything
01-29
Inpaint是一种图像处理技术，...无论是删除多余的元素、修复损坏的区域还是添加新的元素，Inpaint都能够满足我们的各种需求，让我们的照片变得更加精美。因此，我相信Inpaint一定会成为很多人在图像处理中的首选工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猛码Memmat

欢迎支持，随缘打赏 ~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值