超级会员免费看
该论文提出了一种名为DFC-Net的新型网络架构，用于解决视频修复中的复杂运动场景问题。通过先对光流进行补全，然后进行颜色填充，改善了基于CNN的视频补全技术产生的伪影和抖动。论文贡献包括三部分子网的DFC网络，用于逐步细化光流补全，并引入硬流示例挖掘策略增强边界清晰度。通过YouTube-VOS和DAVIS数据集进行评估，使用PSNR和SSIM作为衡量指标。
1. 论文动机
视频补全（Video Inpainting）的目标是填充一段视频中确实的部分，以往的效果比较好的算法是基于patch的补全技术，但是仍然存在两大缺陷：
（1）由于摄像机等不可控制的因素，很可能输入的视频不是平滑均匀的，但是基于patch的视频补全技术却要求视频是平滑均匀的 ，因此不能处理复杂的运动视频。
（2）基于patch的补全技术显然要计算patch之间的相似性以找到最合适的patch，因此这种方法对算力提出了极高的要求。
这篇论文是2019年发表在CVPR上的，在此之前，比较流行的技术是CNN，但是CNN也存在着很大的缺陷：
（1）经过实验验证，基于CNN的视频补全技术会产生明显的伪影和抖动，极大地影响了Inpainting效果。
（2）模型直接将RGB图像输入，而RGB图像的帧量极大，这会导致计算的复杂性非常高，同时也对模型的容量提出了很高的要求。
2. 论文导读：
基于以上的动机，这篇论文提出了在当时全新的方法 —— Flow-Guided，因为我们对光流进行补全要比对原RGB图像直接补全要容易很多，而且很大部分的确实区域是可以由已知区域传播得到。因
订阅专栏 解锁全文
扫一扫
553
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
