【无标题】DODA: Data-Oriented Sim-to-Real Domain Adaptation for 3D Semantic Segmentation

paper
code
提出了sim-to-real的3D indoor semantic segmentation banchmark。主要贡献有：
1）新的uda数据集
2）Virtual Scan Simulation (VSS)
3) Tail-aware Cuboid Mixing (TACM)

新的uda数据集

由3D-FUTURE生成的3D-FRONT合成数据集作为source dataset，包含4995个room作为训练样本，500个room作为验证样本。
常用的scannet和s3dis数据集作为target dataset，选取其中共同包含的11个类别用来完成uda任务。

可以看出还是存在较大的domain gap，主要有两点：
1）point pattern gap：因为设备和采样方案问题，target dataset的点云会有缺失和噪声问题
2）contest-level gap：source dataset的物体排列比较简单规则，target dataset的物体分布就复杂多了

DODA method

主要分为两个过程，pre-train和self-train
pre-train过程：将source data使用VSS进行数据增强预处理后，输入到backbone网络进行训练，真实source label作为监督
self-train过程：将source data和target data使用TACM方法混合在一起后生成中间domain，再对上一步的pre-train模型进行再训练，source label和伪target label都将作为监督

Virtual Scan Simulation (VSS)

主要有两步，分别模拟真实场景的遮挡和噪声
1）将相机随机放在可以放置相机的位置，随机调整角度后，删去改视角下的不可见点，多次重复后对点集取并集
2）将点云进行随机扰动模拟噪声

Tail-aware Cuboid Mixing (TACM)

结合上图和下式对来自source和target的点云进行结合

tail类别在伪标签类别中只占很小一部分，通过对tail过采样增加数量，缓解类别不平衡问题