TPAMI 2024 | TransFuser: 基于Transformer的传感器融合用于自动驾驶的模仿学习

题目：TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving

TransFuser: 基于Transformer的传感器融合用于自动驾驶的模仿学习

作者：Kashyap Chitta; Aditya Prakash; Bernhard Jaeger; Zehao Yu; Katrin Renz; Andreas Geiger

源码链接： https://github.com/autonomousvision/transfuser

---

摘要

如何将互补传感器的表示集成用于自动驾驶？基于几何的融合在感知方面表现出了前景（例如，对象检测，运动预测）。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在具有高密度动态代理的复杂驾驶场景中表现不佳。因此，我们提出了TransFuser，一种使用自注意力机制集成图像和激光雷达表示的机制。我们的方法使用多个分辨率的变换器模块来融合透视图和鸟瞰图特征图。我们