《3D-to-2D Distillation for Indoor Scene Parsing》阅读理解

作者：Zhengzhe Liu，Xiaojuan Qi， Chi-Wing Fu

论文链接：[2104.02243] 3D-to-2D Distillation for Indoor Scene Parsing (arxiv.org)

2021 CVPR

作者提出了一个 3D-to-2D distillation framework，用来利用从大型三维数据存储库(如Scannet-v2)中提取的三维特征来增强从RGB图像中提取的2D特征。首先，从预先训练好的3D网络中提取三3D features，以监督2D网络在训练期间从2D features中学习simulated 3D features，这样2D网络就可以在不需要3D数据的情况下进行推断。其次，设计了一个二阶段的 dimension normalization scheme来校准2D和3D特征，以实现更好的集成。最后，设计了一个 semantic-aware adversarial
 training model to extend our framework for training with un aired 3D data。

网络模型如下