High-Resolution Deep Image Matting

High-Resolution Deep Image Matting

Abstract

1. 提出了HDMatt，这是第一个基于深度学习的高分辨率输入图像抠图方法
2. 以基于面片的裁剪和缝合方式为高分辨率输入运行抠图，并采用新颖的模块设计来解决不同面片之间的上下文相关性和一致性问题
3. 与传统的基于补丁的独立计算每个补丁的推理相比，作者明确地用一个新提出的跨补丁上下文模块(CPC)来建模跨补丁上下文相关性，该模块由给定的三重图指导

Introduction

• 以往的深度学习方法无法直接处理高清（HR）图像。采用这些方法的两个常见策略是对输入进行下采样或基于小块的推理。前一种策略导致丢失大多数细节，后一种策略导致补丁式的不一致

contributions

• 首次提出了一种基于深度学习的HR图像抠图方法，并在硬件资源受限的情况下实现了高质量的HR抠图
• 提出了一种新的跨补丁上下文模块(CPC)，以在HDMatt方法中捕获补丁之间的长期上下文相关性；在CPC中， 一个新提出的三分图引导（Trimap-Guided）的非局部操作（Non-Local (TGNL) operation）被设计来有效地传播来自参考斑块中不同区域的信息。
• 该方法在Adobe Image Matting (AIM), the AlphaMatting benchmark和我们新收集的真实世界HR图像数据集上实现了图像抠图的最新性能。

Related