[SSC] Two Stream 3D Semantic Scene Completion 论文解读

Two Stream 3D Semantic Scene Completion (arXiv 2018)

简介

这篇文章是在Semantic Scene Completion from a Single Depth Image（CVPR 2017）的基础上加入了像素的颜色信息处理SSC问题的。作者先用2D的方法对彩色图片进行语义的分割，再投影到3D空间中。那些被遮挡的位置体素是没有语义标签的。再使用3D卷积网络对体素模型进行补充和语义预测。RGB流和Depth流是分开进行的，在最后再融合生成最后结果。

Depth Stream

先对所有的平面进行主成分分析，确定房间的方向，做一个align的处理。主要是旋转的变换对于体素表达的场景影响较大，尤其是在低分辨率的情况下。

Color Stream

先使用ResNet101进行语义分割，得到每一个像素softmax语义结果，得到的图片是原来大小的四分之一，在进行上采样和线性插值恢复图片尺寸。

TS3D

使用分割好的2D图像和深度图生成3D体素场景，通过3D-CNN网络最终生成60×36×60大小的分割补全场景。网络结构和Semantic Scene Completion from a Single Depth Image并无明显差别，仅仅加入了对于RGB图像的颜色处理，和一些微小的改动。实验结果表现出颜色信息对于SSC问题是有很大帮助的，在之后的研究中应该RGB和Depth信息都要考虑到。