【DAY003】论文阅读-01

Hint-AD: Holistically Aligned Interpretability in End-to-End Autonomous Driving

https://arxiv.org/abs/2409.06702

摘要：之前对于端到端自动驾驶可解释的研究主要对控制的结果进行解释；Hint-AD整合了中间结果，对感知计划和预测建立了解释；开源了Nu-X数据集。

• 问题：现有的端到端自动驾驶的可解释性研究忽略了语言解码器和自动驾驶系统的感知预测规划之间的对应关系，导致语言任务和自动驾驶任务之间存在差异。
• 方法：一个混合模块的adapter，将AD模型的中间输出对齐到语言解码器；一个训练任务，将语言和AD中间输出对齐

模型结构：

从现有的AD架构中，提取BEV、感知、预测和规划信息作为token，通过attention处理后一同encode为固定长度的token序列，而后同text一同作为提示词输入MLLM中decode生成文本。

Holistic token mixer