强化学习下的赛道自动驾驶

如今自动驾驶系统已经非常成熟，神经网络已经可以在大多数工况下，根据激光雷达以及普通摄像头输出可靠的油门及转向决定。不过，这不代表这种分类式神经网络的自动驾驶是十全十美的。这类算法的局限之一在于，它始终无法突破或改进训练数据所展示的性能，同时也无法对环境相比训练时产生的偏移的各种改变做出真正意义上的响应。相比之下，强化学习在注重性能或适应性的场合有不小的潜力。在这篇博客里，我记录一次使用强化学习，利用激光雷达进行模拟赛道自动驾驶的探索。

算法介绍

DQN

Deep Q-Network 之核心是奖励估测神经网络$Q:S\to A\times R$，其输入为当前状态$s\in S$，输出为 ∪ i { ( a i , v i ) } \cup _{i}\{(a_i, v_i)\} ∪i​{ (ai​,vi​)}，即对于每个可能使用的动作赋予一个预期奖励值v。v即为网络预测执行该动作后至该训练周期结束，agent获得奖励之和。v默认接下来的所有决策也按照算法进行：