【论文笔记（2）】3D Graph Neural Networks for RGBD Semantic Segmentation

3DGNN的RGBD语义分割

论文地址

https://ieeexplore.ieee.org/document/8237818

代码地址

https://github.com/yanx27/3DGNN_pytorch

摘要

RGBD语义分割需要2D外观和3D几何信息联合进行推理，文章中提出了三维图神经网络(3DGNN)，对3D点云使用KNN构建K近邻图。图中的每个节点对应一组点，设计一个一元CNN来从2D图像提取外观特征作为其节点的隐藏表示向量。每个节点根据递归函数，根据当前自身状态和邻居传入的消息动态的更新隐藏表示。迭代一定的时间步长后，，每个节点被用于预测每个像素的语义类别，得到最终的语义分割结果。

出发点

传统的RGB语义分割由于二维图像设置，没有利用到真实世界的几何信息，RGBD语义分割可以通过利用深度信息来利用真实世界的几何信息。

在图1(A)中，在2D图像中，位于桌子上的红点局部邻域会包括微波和计数器像素。在3D点云中，加入了深度信息之后没有这样的混淆，如图1(B)所示。