paper
code
提出了sim-to-real的3D indoor semantic segmentation banchmark。主要贡献有:
1)新的uda数据集
2)Virtual Scan Simulation (VSS)
3) Tail-aware Cuboid Mixing (TACM)
新的uda数据集
由3D-FUTURE生成的3D-FRONT合成数据集作为source dataset,包含4995个room作为训练样本,500个room作为验证样本。
常用的scannet和s3dis数据集作为target dataset,选取其中共同包含的11个类别用来完成uda任务。
可以看出还是存在较大的domain gap,主要有两点:
1)point pattern gap:因为设备和采样方案问题,target dataset的点云会有缺失和噪声问题
2)contest-level gap:source dataset的物体排列比较简单规则,target dataset的物体分布就复杂多了
DODA method
主要分为两个过程,pre-train和self-train
pre-train过程:将source data使用VSS进行数据增强预处理后,输入到backbone网络进行训练,真实source label作为监督
self-train过程:将source data和target data使用TACM方法混合在一起后生成中间domain,再对上一步的pre-train模型进行再训练,source label和伪target label都将作为监督
Virtual Scan Simulation (VSS)
主要有两步,分别模拟真实场景的遮挡和噪声
1)将相机随机放在可以放置相机的位置,随机调整角度后,删去改视角下的不可见点,多次重复后对点集取并集
2)将点云进行随机扰动模拟噪声
Tail-aware Cuboid Mixing (TACM)
结合上图和下式对来自source和target的点云进行结合
tail类别在伪标签类别中只占很小一部分,通过对tail过采样增加数量,缓解类别不平衡问题