【手部姿态估计】【论文精读】On the Fusion of RGB and Depth Information for Hand Pose Estimation

【Abstract】

深度学习的快速发展促进了3D手部姿态估计研究的进展，卷积神经网络效果好于随机森林。然而，在当前的SOTA的方法中，基于卷积神经网的方法均是基于深度图的，缺少基于RGB的方法。本文想探讨使用卷积神经网络并将RGB信息与深度信息相结合能否提高手部姿态估计的准确性？为了回答这个问题，我们提出了一个双流结构用于融合RGB信息与深度信息。具体来说，通过提取特征将RGB图像和深度图像送入两个独立的网络，然后在ConvNet的中间层进行融合，实现输入级融合和分数级融合。不同于上文提到的浅层网络，本文所提出的双流网络是由深层卷积组成的。实验结果证明，因为在手部姿态估计中深度信息是十分重要的，基于RGB与基于深度的双流网络的结果与基于深度的结果相差不大。这可能表明，训练一个基于RGB-D的双流结构并没有这个必要。
（这篇论文神经网络结构简单，主要是提出了一个双流的结构，然后在特征层面对两种特征图进行了融合。作者的实验结果表明，基于rgb-d的方法并没有明显的提升。）

【Method】

深度图像是三维姿态估计的有用线索，因为深度图像封装了三维信息，这些信息与三维关节位置的估计直接相关。RGB图像通过颜色和纹理信息准确地描述了物体的表面，而深度图像缺乏这些信息，导致对物体的描述相对不够准确。在这项工作中，我们研究了RGB和深度信息的结合是否可以提高卷积网络的性能，因为每个域的优点和缺点是互补的。为此，我们建立在双流架构范例的基础上，在网络的任何一层融合RGB和深度信息。我们评估了融合输入图像的输入级融合，融合流可以在任何卷积层或全连接层进行融合的特征级