深度强化学习之自动驾驶论文阅读（二）

论文《A Deep Q-Network Reinforcement Learning-Based Model for Autonomous Driving》

仿真平台：Carla

概要：

提出一个使用深度Q网络（DQN）和长短时记忆（LSTM）的端对端自动驾驶系统

本文的主要贡献：第一，一个ADV模型与一个新的观察系统包括RGB（红，绿色，蓝色）图像信息，从面向前方的摄像头，车辆速度，车辆角度相对于道路中心作为观察输入数据。输出包括转向、制动和加速值的组合。第二，LSTM-DQN模型，用于在城市环境中的模拟自动驾驶环境中学习特定的驾驶行为。

本文提出的ADS的结构如下图所示：

将网络部分放大如下：

相关算法介绍：

DQN算法：

主要步骤：1、使用缓冲器，所有以前的经验都存储在缓冲器重放中。2、下一个动作由Q函数的最大输出决定。3、损失函数是预测Q值的均方误差以及目标Q值。