强化学习与自动驾驶-Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving

读了一篇文章 “Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving”，因为我本人不是做强化学习的，所以读的路上磕磕绊绊…除了阅读原文，还借鉴了一些他人的理解，链接也贴在下面了，有细节不懂的强烈建议看看！之后才对文章有个大概认识，我用自己的理解顺序来给大家介绍，如有问题欢迎批评指正。

原文链接：https://arxiv.org/pdf/1610.03295.pdf
参考链接1：https://zhuanlan.zhihu.com/p/31147349?from_voters_page=true
参考链接2：https://zhuanlan.zhihu.com/p/25673276?from=timeline

背景

主车在超车、让路、合并、左右转弯和向前推进等情况，需要与其他道路使用者开展技巧谈判。本文应用深度强化学习于长期驾驶策略的形成问题。自动驾驶区别其他任务在于需要确保功能安全以及不能用马尔可夫决策过程（MDP）模型，因为它不可预测其他智能体的行为。这篇文章的贡献有三：

• 交代了如何使用策略梯度迭代，从而避免使用马尔可夫决策；
• 把整个分析自动驾驶的过程分解为愿望政策Desires（需要学习）和有硬约束的轨迹规划（不需要学习）；
• 引入一个分层的时间抽象，称为Option Graph。

第一个贡献点