本文综述了RGBD数据中深度信息的处理方法，包括深度图与点云的使用，以及通过HHA编码、LSTM和3D图神经网络等技术进行特征融合与场景语义分割的研究。
Collating the processing methods of the depth information in RGBD data
- Segmentaion
-
- 《Learning Rich Features from RGB-D Images for Object Detection and Segmentation》
- FCN
- 《LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling》
- 《Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture》
- 《3D Graph Neural Networks for RGBD Semantic Segmentation》
- Pose Estimation
先上个总结，depth信息使用大致分为两种：
1）depth map作为image，或者编码成为HHA image，再进行fusion，包括4-channel RGB-D for early fusion and feature operation for late fusion。前期的RGBD segmentation都是使用HHA image
2）转换成点云再处理，RGBD pose estimation和后来的一些segmentation是这种思路
Segmentaion
《Learning Rich Features from RGB-D Images for Object Detection and Segmentation》
2014年文章，很老了，fast RCNN&FCN都没出来的时候研究的RGBD for detection and segmentation。这里主要是将depth编码成三个维度的信息，提取特征后辅助进行propose proposal&分类
这个编码过程得到的是3 channels image，文中成为HHA：
整体上是RCNN的框架
作者还尝试了一个early fusion的方式，得到一个4 channels RGB-D，然而效果不太行
最低0.47元/天 解锁文章
扫一扫
5948
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
