强化学习在智能交通灯中的应用

IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control

introduction

这篇文章是来自KDD 2018的IntelliLight,这篇文章是宾州州立大学黎珍辉老师团队做的，这个团队最近几年在交通领域尤其是交通灯控制方面做了很多研究。

Zhenhui Li

传统的交通灯控制主要有这两类：定时信号控制和车辆驱动的控制方法。最近的研究尝试将强化学习应用于交通灯控制问题。

Deep reinforcement learning framework for traffic light control

与具体的交通灯控制问题相结合。环境由交通灯相位和交通状况组成，state是环境的特征表示。agent以state为输入，对灯光的控制作为action，比如改变交通灯的红绿灯阶段或者红绿灯时长等操作，然后agent会从环境得到一个reward，最直接的reward应该是车辆通过交叉口的总行驶时间但是这时间在每个时间步内无法直接计算，所以一般将reward设置为交叉路口的队列长度、车辆的等待时间、交叉口的吞吐量等。本文中的agent通过DQN网络来实现。agent根据DQN网络的损失函数更新模型以求奖励的最大化。

problem

首先，上面这些方法都假设相对静态的流量环境，与实际情况相距甚远，缺乏在真实数据上的检验。

而且，现有研究只求奖励的最大化而忽视了算法对实际流量的适应性，缺乏对策略结合实际情况的观察和理解。

第三个问题是交通灯的相位特征在很多算法中没有得到足够的重视，从而面对不同情况可能有相同的输出，但是输出结果并不符合实际需求。

下面通过两个小例子补充解释一下后两个问题。