#每天一篇论文264/365 Enforcing geometric constraints of virtual normal for depth prediction

Enforcing geometric constraints of virtual normal for depth prediction

原文

代码

摘要

单目深度预测在理解三维场景几何中起着至关重要的作用。尽管最近的方法在评价指标（如像素相对误差）方面取得了很大的进展，但大多数方法忽略了三维空间中的几何约束。在这项工作中，我们展示了高阶三维几何约束对于深度预测的重要性。通过设计一个损失项，强制执行一种简单的几何约束，即在重建的三维空间中随机抽取三个点确定的虚拟法向，可以显著提高深度预测精度。值得注意的是，这种预测深度足够精确能够恢复良好的三维结构。直接从景物的点云和表面法线等深度出发，消除了以往训练新子模型的必要性。在纽约大学Depth-V2和KITTI两个基准上的实验证明了我们方法的有效性和最先进的性能。

方法

法线估计

法线计算

表面法线是几何体表面的重要属性，在很多领域都有大量应用，例如：在进行光照渲染时产生符合可视习惯的效果时需要表面法线信息才能正常进行，对于一个已知的几何体表面，根据垂直于点表面的矢量，因此推断表面某一点的法线方向通常比较简单。

点云、法线与深度之间联系

重建的点云图除了曲面法向量还有其他有充分的三维几何信息，通过随机选取对点云中非共线的长距离点，生成一个虚拟平面，设为VN。预测的VN和实际GT的VN之间的差异可以作为高级三维几何损失函数。长距离采样方法，能够避免深度测量中噪声带了的不利影响，使得预测的VN的进度明显得提高。随机抽样方法，很容易得到大量的长距离非共线的数据，对全集几何体进行编码。
通过将估计的深度图从图像转换为三维点云表示，它打开了将三维点云处理的算法合并为二维图像和2.5D深度处理的许多可能性。

算法流程

以RGB图像作为编码器网络的输入，对深度图Dpred进行预测。从Dpred可以重建三维场景点云Ppred。
利用Dgt重建地面真值点云Pgt。训练网络有两种实行两种监督方式。首先采用标准的单目深度预测方法，对差分格式Dpred进行逐像素深度监控。利用重建后的点云，利用所提出的虚拟法向量对Ppred与Pgt之间的空间关系进行对齐。当网络经过训练之后，不仅可以得到精确的深度图，而且可以得到高质量的点云。从重建的点云出发，可以直接计算出曲面法向等其他三维特征。

点云拟合出曲面法向量

拟合点云以获得局部曲面法向的图示。曲面法线的方向在实点云（a）上用不同的采样大小进行拟合。由于存在噪声，曲面法线变化很大。（b）比较在平均差分误差中不同样本大小下计算的表面法线之间的角度差。误差可以明显变化。

深度估计噪声下VN

实验

数据集

KITTI NYU

点云估计结果

法线估计结果

深度估计结果