PENet：面向精确和有效图像引导深度补全

图像引导深度补全是从一张稀疏深度图生成稠密深度图和高质量图像的任务。在这个任务中，如何融合彩色和深度信息在实现高性能扮演着非常重要的角色。本论文提出一个两分支的架构，包括：一个颜色主导分支和深度主导分支来开发和融合这个信息。更具体地来讲，一个分支输入颜色信息和一个稀疏深度图来预测一个稠密深度图。另外一个分支输入稀疏深度图和先前预测的深度图，输出一个较好的稠密深度图。从两个分支预测的深度图是互补的，因此它们是自适应融合。另外，我们也提出一个简单几何卷积层去编码3D几何线索。这个几何编码框架进行多个阶段不同形态的融合，获得较好的深度补全结果。作者进一步实施扩展和加速 CSPN++ 来精细融合深度图。本文提出的全模型在当时KITTI深度补全竞赛中排名第一。

 

本论文的主要贡献可以总结为：
（1）作者构造了一个两分支架构，能够通过彩色和深度作为引导信息来进行稠密深度预测。这个架构能够开发和融合彩色和深度信息；
（2）作者提出一个几何卷积层来简化3D几何线。这个几何编码框架性能优于最高排名方法；
（3）作者设计网络来加速深度深度精细技术CSPN++，使其变得更加高效；
（4）作者提出的刚发在当时KITTI数据集排名第一；

实验结果

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载上面论文和代码，请关注上方公众号并回复：PENet