【论文笔记 · RL】Cooperative Max-Pressure Enhanced Traffic Signal Control

Cooperative Max-Pressure Enhanced Traffic Signal Control

文章来源

**网址：**https://dl.acm.org/doi/10.1145/3511808.3557569

**会议/期刊：**CIKM '22

**作者：**Lin Li, Renbo Li, Yuquan Peng, Chuanming Huang, Jingling Yuan

摘要

当前已有的工作大多状态定义为车道级队列长度、相位或其他特征。这些工作都是对状态表示进行的启发式设计。本文提出了CMP-SL。

• 第一，CMP-SL将协同最大压力定义拓展到了目标交叉路口的状态定义，从而获得周围交叉路口的压力以获得准确状态信息。使用GAT来学习目标路口的特征表示。
• 第二，由于状态与奖励耦合，将目标路口的协同最大压力作为奖励。
• 第三，使用基于序列模型的TCN来捕捉交通流历史状态。
• 第四，将历史时空状态特征和当前空间状态信息concat，输入DQN中从而来预测Q值和动作。

介绍

当前存在的问题在于启发式的奖励设计难以与状态设计耦合，PressLight和TSC-GNN都尝试使用当前已有的运输学理论MP来设计奖励，利用基于MP的特征来设计状态。

文章认为使用协调最大压力设计目标路口的状态可以起到增强效果。

CMP-SL包括4个模块：

• **状态特征嵌入模块：**CMP-SL定义了基于CMP的状态特征，其使用状态特征嵌入模块，通过对目标路口以及周围邻居路口的状态信息进行编码。
• **时空状态模块：**时空状态模块通过GAT整合邻近路口的状态特征；由于状态特征与奖励耦合，故目标路口的CMP需要被加入到奖励设计中。
• **基于序列模型的时间卷积网络：**TCN通过捕捉交通流的历史状态信息，从而提供动态交通状态信息。
• **DQN整合模块：**DQN模块将历史时空状态信息和当前的空间状态信息concat并进行预测，最后生成目标交叉路口的动作。

基础概念

RL环境

• 状态：每个车道的队列长度$\overleftarrow{q}$、当前相位$\overrightarrow{p}$和每个有效车流运动的CMP$\Delta P$；
• 动作：四相位，最小动作时间$\Delta t=10s$，$5s$黄灯时间；
• 奖励：交叉路口$p_i$的CMP。

协同最大压力（CMP）

MP理论忽视了邻近路口的影响，而CMP则考虑了邻近交叉路口相位的最大流量。

• **相位压力：**对于某相位$\overrightarrow{p}$，有允许的车流运动$(l,m)$，其中$l$为驶入车道，直行信号为$p_{i,l}^1$，左转信号为$p_{i,l}^2$。当$p_{i,l}^1$信号被激活的时候，$q_{l,m}$上的车长在等待从$l$到$m$。而对于路口$j$的驶出车道$m$，同样有直行信号为$p_{j,m}^1$，左转信号为$p_{j,m}^2$，$p_{j,m}^2$同时被激活，$d_{m,k}$表示该时间能够离开并能够成功通过路口$j$的车辆数。下游车道的队列长度会被路口$j$中能够通过的最大车辆数$f_{max}$影响。综上，CMP公式为：
  $$\Delta p_{l,m}(t)=q_{l,m}(t)-\sum _{k\in L_{out}}{r}_{m,k}\cdot (q_{m,k}(t)-d_{m,k}(t))$$
  $L_{out}$是路口$j$的驶出车道，$q_{m,k}$是穿过路口$i$从车道$l$到车道$m$的车辆数，$r_{m,k}$是离开车道$m$进入车道$k$的比例，即转向比，$d_{m,k}$是各信号中从$m$到$k$的车辆数。$d_{m,k}$的定义为：
  $$d_{m,k}(t)=\{\begin{array}{r}{p}_n\cdot q_{m,k}(t),q_{m,k}(t)<f_{max}\\ p_n\cdot f_{max},q_{m,k}(t)\ge f_{max}\end{array}$$
  其中$f_{max}$是相位$p_n$激活情况下，路口能够通过的最大车辆数$f_{max}$。若相位$p_n$被激活，$p_n$值为1。

• **交叉路口压力：**路口压力$p_i$是所有驶出路口的车辆数与驶入车道或相邻路口的平均排队情况的差。在时间$t$，状态包括。目标路口$i$的历史状态$[s_i^{t-9},\dots ,s_i^{t-1}]$、目标路口$i$的当前状态$s_i^t$和邻近路口$j$的当前状态$s_j^t$。

提出方法

状态设计

首先，需获得目标路口$i$的历史状态$[s_i^{t-9},\dots ,s_i^{t-1}]$、目标路口$i$的当前状态$s_i^t$和邻近路口$j$的当前状态$s_j^t$、各车道的车辆数、各可用车流运动的CMP。

使用拥有2层隐层的MLP将$k$维状态$s_i^t$嵌入维$d$维的向量：
$$\begin{gathered} x_i^{\prime }=Dense(s_i^t)=\sigma (s_t{W}_e^1+b_e^1) \\ {x}_i^1=Dense(x_i^{\prime })=\sigma (s_i^{\prime }{W}_e^2+b_e^2) \end{gathered}$$
其中，激活函数为ReLU，$x_i^1\in {\mathbf{R}}^d$为第$i$个路口当前的状态特征。

同样使用了MLP来编码目标路口和周围路口的当前状态$s_i^t$和$s_j^t$：
$$x_i^2=Concat(Dense(s_i^t),Dense(s_j^t))$$
$10s$内的历史状态$D_{\Delta t}=[s_i^{t-9},\dots ,s_i^{t-1}]$被输入到TCN网络中，通过全连接层生成了历史状态特征表示$y^2$。

当前空间模块

该模块中使用GAT来整合了邻近路口的特征表示。对于目标路口$i$，使用状态嵌入向量$x^2$。使用共享注意力机制来计算目标路口和邻近路口的相似系数并进行归一化得${\alpha }_{ij}$：
$$Y^1=\sigma (W_q\cdot (\sum _{j\in N_i}{\alpha }_{ij}(x_j{W}_c)+b_q))$$
通过GAT整合所有邻近路口，生成了空间特征表示$Y^1$。

历史时空模块

该模块与当前空间模块类似，采用注意力机制来融合时空状态特征。采用$x_i^1$作为$Q$，采用历史或动态时间信息$y^2$作为$K$和$V$。计算出注意力分数和多头注意力分数：
$$\begin{gathered} Q_i=x_i^1,K_i=y^2,V_i=y^2 \\ {Y}^2=Attentio{n}_2(Q_i,K_i,V_i) \end{gathered}$$
从而获得目标路口的历史状态信息编码$Y^2$。

DQN整合模块

该模块将$Y^1$和$Y^2$concat后输入到DQN中，再利用DQN预测出动作：
$$Q=Dense(Concat(Y^1,Y^2))$$
DQN的损失函数为：
$$\mathcal{L}=\mathbb{E}[(r_i+\gamma {\text{max}}_{a_{t+1}}Q(s_{t+1},a_{t+1};\theta )-Q(s_t,a_t;\theta ))]$$
其中$\theta$为DQN的网络参数。

实验

设置

• 模拟环境：CityFlow
• 动作时间：10s
• 总模拟时间：3600s
• 训练轮数：200轮，采用早停
• 折扣因子：0.8
• 最大样本数：10,000
• 目标网络更新频率：10轮/次
• 数据集：杭州数据集、济南数据集
• 评价指标：行驶时间、吞吐量

性能实验

MP会最小化路口压力，平衡路网中的车流分布。CMP-SL添加了临近路口的压力信息，行驶时间得到提升。

这一结果反映出了交通控制理论在区域路网的信控优化中的不可替代性。行驶时间方面，CMP-SL相比于CoLight减少8.97%，相比TSC-GNN减少1.01%（此处对比挑选的是最好结果），最少提升了1.90%和0.80%。吞吐量方面，也由于使用GAT的CoLight和CMPLight。

CMP-SL提取了当前的空间信息和历史的时空状态信息，而CoLight主要集中于邻近路口对目标路口的空间影响，TSC-GNN未考虑时间相关性，CMPLight简单添加邻居状态可能对模型造成负面优化。

消融实验

通过消融实验，发现三个都有用。CMP可以提高性能，当前的空间状态信息重要性大于历史时空状态信息。