最新综述：激光雷达感知深度的域适应方法

作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/393208234

编辑丨3D视觉工坊

arXiv在2021年6月上传的综述论文“A Survey on Deep Domain Adaptation for LiDAR Perception“。

为了实现规模化自动驾驶，需要一个高效的考虑域漂移的方法。这个不是针对视觉感知，而是激光雷达感知的域适应方法回顾。

域适应（DA）是迁移学习（TL）的特例，一种transductive方法，是无监督。域适应可以细分如下：根据学习过程中考虑的类发布而定，分5种（来源于“Unsupervised Domain Adaptation in Semantic Segmentation: a Review”）

• Closed Set DA, 所有类在source domain 和 target domain出现。

• Partial DA, 只有source domain 的一部分类出现在 target domain。

• Open Set DA，完全没有共享类。

• Open-Partial DA，共享和独特类都有。

• Boundless DA 是Open Set DA，其中所有目标域的类可以逐个学习。

最常见的baseline是entropy minimization方法，其他还有CyCADA，FeaDA和OutDA。

大多数工作的数据集是KITTI, SemanticKITTI, nuScenes, SemanticPOSS, 和 A2D2。

DA的use case：模拟器的采用产生一个新类DA方法 sim-to-real DA；还有geography-to-geography DA，weather-to-weather DA，day-to-night DA（相比摄像头，这种变化不大），sensor-to-sensor DA（姿态设置和内部参数）和 dataset-to-dataset DA。

如下是激光雷达感知的DA分类：基本分数据驱动和模型驱动两个方向

domain-invariant representation方法如图：hand-crafted方法，针对sensor-to-sensor domain shift，做数据预处理，包括Sampling Alignment in 2D Space和Geometric Representation in 3D Space。

Domain mapping方法如图：主要是sim-to-real 和 dataset-to-dataset DA，域数据迁移，包括Adversarial Domain Mapping和Non-Adversarial Domain Mapping。

domain-invariant feature learning方法如图：基本是两个原则的方法分类，Divergence Minimization和Discriminator-based 方法。

还有Normalization Statistics及其他方法：在DNN，normalization layers 改进训练收敛性，主要通过对训练数据分布校准（Distribution alignment），这样控制内部covariate shift 和梯度尺度；不过，在图像域有效的方法，即通过每个域不同的batch norm statistics对初始pseudo-labels迭代细化，对激光雷达域的效果没有实验验证过。

最后，文章总结了激光雷达DA面临的主要挑战：

1.Comparability and Transfer from other Modalities：缺乏基准和测度，有些采用图像域的方法做基准。

2.Discrepancies in Domain Gap Quality：测度是model-specific 和 task-specific，但是目前sensor-to-sensor domain gap不好处理。

3.Relevance of Cross-Sensor Adaptation：需要开发sensor-invariant perception systems，建立domain-invariant data representation。

4.Adaptation in Different Weather Scenarios：需要adverse weather scenarios 的数据，这样才可以实现weather-to-weather DA。

5.Generative Models for Domain Translation：adversarial domain mapping方法有限，generative models方法研究不够。

6.Open-Partial Domain Adaptation：好多是研究dataset-to-dataset DA，可是标注类往往不同，这样的问题就是Open-Partial DA，一般是采用label mapping 策略，就转化成为 Closed Set DA 问题来求解。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~