AI 隐身术，能让物体在视频中消失的魔法。_python去除物体遮挡的预处理

点赞再看，养成习惯，微信公众号搜索【JackCui-AI】关注这个爱发技术干货的程序员。本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录，有一线大厂面试完整考点、资料以及我的系列文章。

一、前言

刚刚过去的 2020 年 ECCV，有一项 AI“隐身”技术引人瞩目。

正在坐秋千的小孩，突然只剩下秋千架。

让漫步的行人消失，让奔驰的汽车消失。

能让物体在视频中消失的算法

这么好玩的 AI 算法，你想学吗？

老规矩，今天，继续手把手教学。

算法原理、环境搭建、效果实现，一条龙服务，尽在下文！

二、FGVC

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亚理工大学计算机工程专业就读博士三年级，师从华人教授 Jia-Bin Huang。

FGVC 算法本质上是一个基于光流法的视频修复算法。

光流法是视域中物体运动检测的概念，其用于描述运动所造成的观测目标、表面或边缘的运动，主要应用于计算机视觉和影像处理等。

使用光流法，可寻到不同帧之间的关系，并通过在不同帧之间传播信息来补全视频。

FGVC 主要包含三个步骤：Flow completion、Temporal propagation、Fusion。

Flow completion：具体操作时，要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的轨迹，为每个丢失的像素找到一组候选像素，对于每个候选帧，都要估计一个置信分数以及一个二进制有效性指标。

Fusion：使用置信加权平均值，将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素，则使用一个关键帧，并使用单个图像补全技术来填充它。

更具体的原理，比如边缘引导的光流补充等，可以去「啃下」论文，学习一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

三、环境配置

想要测试算法效果，先要部署下开发环境。

Github 开源项目地址：https://github.com/vt-vl-lab/FGVC

Github 下载慢的，可以下载我已经打包的代码（提取码：jack）：

https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg

这里推荐使用 Anaconda 完成部署，不知道 conda 用法的，可以看下我写过的另一篇基础教程：

一劳永逸的 Python 开发环境搭建

FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。

所以，可以创建两个虚拟环境 FGVC 和 raft。

FGVC 环境使用 PyTorch 0.4.0，并配置算法 DeepFill 的环境。

DeepFill 环境配置方法：

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements

直接使用指令安装依赖库：

pip install -r requirements.txt

raft 环境使用 PyTorch 1.6.0，并配置算法 RAFT 的环境。

RAFT 环境配置方法：

https://github.com/princeton-vl/RAFT#requirements

这里比较简单，使用 conda 安装需要的库即可。

都配置完毕，就可以测试算法效果了！

四、效果测试

先激活 raft 虚拟环境，直到运行结果出现提示：

「Please switch to Pytorch 0.4.0」

然后切换到 FGVC 虚拟环境，然后再运行一次代码。

Object removal：

cd tool
python video_completion.py \
       --mode object_removal \
       --path ../data/tennis \
       --path_mask ../data/tennis_mask \
       --outroot ../result/tennis_removal \
       --seamless

FOV extrapolation：

cd tool
python video_completion.py \
       --mode video_extrapolation \
       --path ../data/tennis \
       --outroot ../result/tennis_extrapolation \
       --H_scale 2 \
       --W_scale 2 \
       --seamless

想要计算速度更快些，可以去掉 seamless 参数。

算法需要 rgb 图片和 mask 图片，这些数据是已知的，想要去除什么物体，给个物体的 mask 即可。

运行效果示意图：

五、最后

好玩的 AI 算法有很多，关注我带你玩转各种好玩的算法，我是 Jack Cui，我们下期见！

文章持续更新，可以微信公众号搜索【JackCui-AI】第一时间阅读，本文 GitHub https://github.com/Jack-Cherish/PythonPark 已经收录，有大厂面试完整考点，欢迎Star。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！