【DAY005】论文阅读-02

XLM for Autonomous Driving Systems: A Comprehensive Review

https://arxiv.org/abs/2409.10484

摘要：回顾了关于ADS和XLM的相关文献，包括它们的架构、工具和框架；介绍了为自动驾驶解决方案部署XLM的方法。；提供了ADS XLM部署的相关挑战，并指出了未来的研究方向，旨在使XLM在未来的ADS框架中得到采用。

文章从以下几个角度考察了ADS XLM的方法：

1. XML应用在ADS中的基本原理
2. XML可以解决ADS中的基本问题是什么
3. 如何集成LLM以改进决策与感知从而辅助驾驶
4. 如何优化VLM增强其在不同环境下的目标检测和障碍识别
5. MLLM如何改善人车交互
6. XML在ADS中应用的数据集和评估方法
7. 悬而未决的研究点

ADS的典型架构
感知层、决策层、控制执行层、网络安全层、通信层

数据集

与大模型的交互：

1. 提示工程：思维链、自我一致性、知识生成、推理行动、上下文提示、动态提示、迁移学习提示
2. 微调
3. 少样本学习
4. RLHF
5. 多模态集成

LLM常见结构

如何利用LLM：
首先确定LLM需要完成什么样的任务、其次选择合适的模型，微调模型适应特定任务、然后评估模型、部署模型，最后提升模型。

XLMs要解决ADS中的问题

1. 多模态信息输入与融合
2. 安全性与可靠性：解决可能存在的传感器故障、意外情况、天气状况等问题
3. 复杂的城市环境：需要处理行人、汽车等动态的环境，对于多模态多任务建立模型
4. 数据隐私与安全
5. 人机交互：XLMs可以作为人机交互的接口，让人类同ADS交互

XLMs在ADS中的方法

• 基于提示工程的方法：改进规划控制、感知、多任务和问答
• 微调预训练模型：精确规控、车道变换、路径规划
• 基于RLHF的方法
• MLLM/LLM和生成式AI的方法

基于LLM的方法

• 基于提示工程：
  DiLU：
  
  LanguageMPC：
  SurrealDriver：
  
  LLM-driver：
  

• 基于微调的
  DriveCoT
  LC-LLM

• 基于RLHF的
  CRITICAL

• 基于LLM和GAI的
  DriveDreamer-2:
  

基于VLM的方法

• 基于提示工程的
  Co-Driver
  

• 基于微调的
  DriveVLM
  CODA-LM：针对长尾场景进行分析
  pFedLVM：
  
  EM-VLM4AD：
  

基于MLLM的方法

• 基于提示工程的
  PromptTrack：
  
  HiLM-D
  RAG-Driver

• 基于微调的方法
  DriveMLM：
  
  DME-Driver
  DriVLMe：微调用于轨迹预测
  VLM2Scene：微调用于感知
  AIDE
  BEV-InMLLM
  OmniDrive
  DriveGPT4

• 基于RLHF的方法
  Agent-Driver
  Feedback-Guided-AD
  

• MLLM和GAI
  ADriver-I

数据集

仿真环境
LimSim++

ChatSim

未来的问题

1. 需要更好的数据集
2. 缓解XLM的幻觉问题
3. 在有限的硬件环境中部署XLM
4. ADS的个性化：对齐驾驶员偏好
5. 多模态RAG需要探索
6. 协调多任务和微调
7. 安全性：提示词注入、数据中毒、灾难性遗忘的风险