读书笔记 - 基于强化学习的城市交通信号控制方法研究 - 西电MaxPlus

《基于强化学习的城市交通信号控制方法研究》

针对TC-GAC交通信号控制方法中只考虑局部拥堵因子的缺陷，引入车辆目的车道的全局拥堵因子，实现了多交叉口控制器Agent之间的简单协作。
由于强化学习迭代求解的过程极为耗时，考虑将启发式强化学习用于交通信号控制问题。通过启发式函数来引导状态动作空间的探索，加快学习速度，改善动作选择策略。
改进的基于信号灯-交叉口联合动作的协作图模型，通过Max-Plus算法实现协作

强化学习用于交通信号控制

交通建模

1）宏观交通建模： 模拟多重交通流特性，如速度、密度、流量等，同时模拟这些特性之间的关系。宏观模型中的仿真是发生在一段一段的道路上，而不是对单独的车辆进行模拟跟踪，不能用来建模车辆之间的交互。
2）微观交通建模： 模拟单个车辆，模拟的动态变量表示微观属性，如单个车辆的速度和位置等。一种设计和模拟车辆行驶规则的方法是采用元胞自动机（CA）

交通信号控制的状态描述

1）基于信号灯的状态： 表示交叉口周围所有可能的交通状况。因为有太多可能的交通状况，这将导致学习空间爆炸问题。
2）基于车辆的状态： 从单个车辆的角度去描述交通状态。值函数评估单个车辆的等待时