background matting v2
Abstract
- 作者引入了一种实时、高分辨率的背景替换技术,该技术在现代 GPU 上以 30fps 的 4K(3840×2160)分辨率和 60fps的 HD(1920×1080)分辨率运行。
- 使用两个神经网络; 基础网络计算低分辨率结果,该结果由第二个网络在选择性补丁(selective patches)上以高分辨率运行。
- 介绍两个大规模视频和图像抠图数据集:VideoMatte240K 和 PhotoMatte13K/85。
- https://grail.cs.washington.edu/projects/background-matting-v2/
Introduction
- 作者的方法依赖于捕获额外的背景图像来计算 alpha matte和前景层。
- 为了设计能够实时处理高分辨率图像的网络,我们观察到图像中相对较少的区域需要精细细化,因此作者引入了一个基础网络,该网络以较低的分辨率预测the alpha matte and foreground layer,同时还引入了一个error prediction map(误差预测图),该图指定了可能需要高分辨率细化的区域。然后,细化网络采用低分辨率结果和原始图像,仅在选定区域生成高分辨率输出。
Related Work
- 背景替换(Background replacement)可以通过分割(segmentation&#