【论文精读】Deep Surface Normal Estimation with Hierarchical RGB-D Fusion

【Abstract】

RGB-D商业相机的普及促进了其在场景理解领域的发展。然而，基于RGB-D数据的surface normal estimation作为场景理解领域的基础任务，却缺乏深入的研究。本论文，提出了一种具有自适应特征权重的分层融合网络，用于单个RGB-D图像的surface normal estimation。其中，彩色图像的特征与深度图像的特征在多个尺度上依次融合，以确保整体表面平滑的同时保有视觉显著细节。同时，深度特征在合并到彩色分支之前，使用深度估计的置信图重新加权，以避免输入的深度存在缺失所造成的伪影。此外，设计了一种融合多尺度的损失函数，用于在有噪声的Groung truth数据集下学习准确的normal estimation。大量的实验结果证明了融合策略与损失函数设计的有效性，本文所提出的方法由于目前的方法。

【Introduction】

近年来，surface normal estimation得到了广泛的研究，以往的normal estimation的研究大多采用single RGB image作为输入，尽管在高亮以及昏暗区域存在特征丢失或错误估计的问题，让在大部分场景下取得了令人满意的结果。
（指出surface normal estimation是主流研究课题之一，但之前的方法存在弊端。下段将引出本文如何解决此弊端。）

RGB-D相机已经商用，在场景理解的语义分割、目标检测、三维重建等方面性能均有很大提升。根据RGB-D相机给出的深度，发现能够通过最小而成优化很容易地被算出来，正如在NYUv2数据集中所使用的那样。但普通图像的质量会受到深度腐蚀的影响，例如沿着物体边缘的传感器固有的造成或由于光滑、黑色、透明以及远距离的表面而丢失的