文章介绍了Background Matting V2，这是一种实现实时、高分辨率背景替换的技术，能在4K分辨率下以30fps运行，HD分辨率下以60fps运行。该技术基于两个神经网络，基础网络先进行低分辨率预测，然后细化网络在选择性区域进行高分辨率处理。此外，作者还创建了VideoMatte240K和PhotoMatte13K/85两个大型数据集用于训练和改进模型。
background matting v2
Abstract
- 作者引入了一种实时、高分辨率的背景替换技术，该技术在现代 GPU 上以 30fps 的 4K（3840×2160）分辨率和 60fps的 HD（1920×1080）分辨率运行。
- 使用两个神经网络； 基础网络计算低分辨率结果，该结果由第二个网络在选择性补丁（selective patches）上以高分辨率运行。
- 介绍两个大规模视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。
- https://grail.cs.washington.edu/projects/background-matting-v2/
Introduction
- 作者的方法依赖于捕获额外的背景图像来计算 alpha matte和前景层。
- 为了设计能够实时处理高分辨率图像的网络，我们观察到图像中相对较少的区域需要精细细化，因此作者引入了一个基础网络，该网络以较低的分辨率预测the alpha matte and foreground layer，同时还引入了一个error prediction map（误差预测图），该图指定了可能需要高分辨率细化的区域。然后，细化网络采用低分辨率结果和原始图像，仅在选定区域生成高分辨率输出。
Related Work
- 背景替换（Background replacement）可以通过分割（segmentation&#
最低0.47元/天 解锁文章
4902
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
