论文解读：Dense reinforcement learning for safety validation of autonomous vehicles

郭明江_AD

已于 2023-04-14 19:48:45 修改

阅读量1.8k

点赞数 1

文章标签：深度学习 MDP 仿真强化学习 DDQN

于 2023-04-07 10:19:15 首次发布

本文链接：https://blog.csdn.net/mingjiangguoyaoqin/article/details/129994574

版权

文章提出了一种名为DenseDeepReinforcementLearning(D2RL)的方法，旨在解决自动驾驶汽车安全验证的效率问题。通过识别并剔除非安全关键数据，D2RL优化了神经网络的训练，加速了智能体在多种模拟和真实环境中的测试过程，提高了验证速度可达多个数量级。这种方法不仅提升了验证效率，还可应用于其他安全关键型自主系统的测试和训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提高自动驾驶汽车安全性能的关键瓶颈在于：安全验证极其低效。主要是用软件模拟、封闭试验跑道和道路试验相结合的方式在无损检测（NDE）中对无人驾驶汽车进行试验。然而，在 NDE 上的测试通常需要测试数亿英里。为了提高效率，还有许多基于场景的方法，但主要适用于短场景路段。验证无人驾驶技术的安全性能本质上是一个高维空间中罕见事件的估计问题，主要的挑战在于“维度灾难”（驾驶的时空环境复杂）和“稀有灾难”（影响安全的关键事件发生的概率低）的复合。
为解决这一挑战，最新发表在 Nature 的这篇文章开发了一种密集深度强化学习（dense deep-reinforcement-learning，D2RL）方法。基本思想是识别和删除非安全关键数据，并利用安全关键数据训练神经网络。他们开发了环境的智能测试，训练基于人工智能的后台主体，来验证自动驾驶汽车在加速模式下的安全性能，而不会失去无偏性（unbiasedness）；基于自然驾驶数据，后台智能主体通过 D2RL 方法来学习执行什么样的应对策略。该团队还结合多模拟背景和现实环境测试了高度自动化的车辆，发现 D2RL 训练的主体可以加速测试过程达多个数量级（103到105倍）。此外，D2RL还能加速其他安全关键型自主系统的测试和训练。
刚阅读了一部分，详细的解读等我全部读完后更新。
论文的附件及相关说明Dense reinforcement learning for safety validation of autonomous vehicles，相关源码在sumo_carla_simulator。