详解自动驾驶仿真数据集 SHIFT：A Synthetic Driving Dataset for Continuous Multi-Task Domain Adaptation

SHIFT：A Synthetic Driving Dataset for Continuous Multi-Task Domain Adaptation

本文介绍一个新的自动驾驶仿真数据集：SHIFT，论文收录于 CVPR2022。适应连续变化的环境是自动驾驶系统一直以来要面临的挑战。然而，目前现有的图像和视频驾驶数据集无法反应真实世界的变化本质。

因此论文作者介绍了一个最大的自动驾驶多任务合成数据集SHIFT。在云量、雨量和雾的密度、光照时间、车辆和行人密度等方面呈现离散和连续的变化。SHIFT 数据集包含综合的传感器套件和多种主流感知任务的注释，可以在域变化上研究感知系统性能的退化，促进连续域适应策略的研究。虽然是仿真数据集，但是在其上观察到的感知算法域变化趋势与真实数据集基本相符，未来将会有助于合理收集真实数据集和开发感知算法。

数据集主页：https://www.vis.xyz/shift/

---

The SHIFT Dataset

论文引言和相关工作就不介绍了，这里直接介绍 SHIFT 数据集。表1是现有公开的自动驾驶数据集的比较，可以看到 SHIFT 是最大的合成数据集，也是唯一一个提供连续域变化的数据集。SHIFT 总共包含4850个序列，最长的序列有33分钟，250万帧注释，注释包括物体2D/3D框、语义/实例分割、2D/3D多目标追踪ID、深度图、光流图等。

SHIFT 数据集传感器布置如下图所示，包含5个RGB摄像头、一对双目摄像头、一个深度摄像头、一个光流传感器和GNSS/IMU以及128线激光雷达，所有传感器进行了时间同步和空间同步，采样频率为10Hz。

SHIFT 数据集的一大特色就是提供了不同条件下的数据，一共包含24种域。除了离散域，还包含连续域，如下图所示，从白天到夜晚的的连续数据，以及从晴天到雨天的连续数据。

---

Experiments

SHIFT 数据集主要用于研究感知算法在域变化时的性能。作者这里测试了四种域适应测略：Targeted DA、Untargeted DA、Incremental DA、Continusous TTA。

每一个模型都是在 clear-daytime domain 下训练的，然后在其它域下测试。可以看到仿真数据集和真实数据集上模型都有着相同的变化趋势。

在不确定性估计中，在 BDD100K上证实了SHIFT上观察到的校准的整体退化，仿真数据与真实数据的结论基本一致。

在多任务学习上，可以看到适当的任务组合能够有效抵消域变化的影响，提高雨天、雾天、夜晚的模型性能。