论文笔记_S2D.35-2017-IROS_利用CNNs联合预测RGB图像的深度、法线和表面曲率

基本情况

• 题目：Joint Prediction of Depths, Normals and Surface Curvature from RGB Images using CNNs
• 出处：Dharmasiri, T., Spek, A., & Drummond, T. (2017, September). Joint prediction of depths, normals and surface curvature from rgb images using cnns. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (pp. 1505-1512). IEEE.

摘要

在开发全自动机器人时，了解场景的3D结构至关重要。为此，我们提出了一个新颖的基于深度学习的框架，该框架仅通过使用单张RGB图像即可估算深度，表面法线和表面曲率。据我们所知，这是使用机器学习方法从颜色估计表面曲率的第一项工作。此外，我们证明了通过调整网络以推断出精心设计的特征（例如表面曲率），我们可以在估计深度和法线时实现更高的性能，这表明网络指导仍然是设计和训练神经网络的有用方面。我们进行了广泛的实验，对网络进行了训练以推断出不同的任务，同时使模型容量保持恒定，从而根据手头的任务生成不同的特征图。我们的性能优于以前的最新基准，后者可以同时估计深度和法线，同时可以并行预测曲面曲率。

1 介绍

从原始数据中提取信息是机器人技术中一个经过充分研究的问题。视觉图像就是这种原始数据的一种形式，并且已在社区中广泛使用，以解决一系列问题，包括图像分割[1]&