强化学习自动驾驶论文阅读（二）

（一）paper传送门

Model-free Deep Reinforcement Learning for Urban Autonomous Driving

（二）背景知识

强化学习（RL）---------------------------《Reinforcement Learning：An Introduction》第二版
Soft Actor-Critic（SAC）--------------------https://www.jianshu.com/p/9708bb0676b2
Variational Auto-Encoder (VAE))-----------https://zhuanlan.zhihu.com/p/25401928
KL-divergence（KL散度）-------------- https://blog.csdn.net/ningyanggege/article/details/87906786
Carla(模拟器)--------------------------------https://carla.readthedocs.io/en/latest/

（三）摘要

本文提出了一种基于无模型的强化学习框架。作者设计了一个特定的输入表示（Bird-View），使用可视化编码来捕获低维潜在状态。并在框架中实现了三种SOTA的RL算法：DDQN，TD3，SAC，并分别通过一些tricks提高了它们的性能，作者最后基于Carla模拟器，模拟城市自动驾驶中较难的具有密集车流的环岛路况。通过实验结果，对比了以上三种不同RL算法的效能，也证明了框架的有效性。

（四）内容

1 问题

直接在原始传感器（Carla模拟器部署的模拟器有相机、激光雷达等）输入上应用RL算法很难很好地解决城市自主驾驶问题，作者因此提出了一个框架来降低问题的复杂性，使其有可能被当前的model-free RL技术很好地解决。

2 主体