Heterogeneous Attentions for Solving Pickup and Delivery Problem via Deep Reinforcement Learning

---

前言

论文阅读笔记：Heterogeneous Attentions for Solving Pickup and Delivery Problem via Deep Reinforcement Learning

---

一、PDP问题

定义：载具从仓库开始，依次访问所有取货节点和配送节点，只执行一次服务，最后返回仓库，尽可能地节省时间。注意，这里PDP允许连续的拾取或交付，或它们的混合，只要它满足优先约束。

$n$：客户请求数量
P = { x i } i = 1 n P=\{ x_i \}_{i=1}^n P={xi​}i=1n​：pickup node set
D = { x i } i = n + 1 2 n D=\{ x_i \}_{i=n+1}^{2n} D={xi​}i=n+12n​：delivery node set
$x_i$：pickup node
$x_{n+1}$：delivery node，与 pickup node 为成对的，具有优先级关系
仓库：node 0
X = { x 0 } ∪ P ∪ D X=\{ x_0 \} \cup P \cup D X={x0​}∪P∪D：complete node set
X ′ = { x 2 n + 1 } ∪ X = { x i } i = 0 2 n + 1 X'=\{ x_{2n+1} \} \cup X =\{ x_i \}_{i=0}^{2n+1} X′={x2n+1​}∪X={xi​}i=02n+1​：其中$x_{2n+1}$为仓库的copy
{ c i } \{ c_i \} {ci​}：包含 { x i } \{ x_i \} {xi​}二维坐标
$v$：载具，从$x_i$全部运输到从$x_i+n$（有无限的运输能力）
$D_{ij}$：表示节点$x_i$到节点$x_j$的欧氏距离
$f$为载具$v$的速度
y i j ∈ { 0 , 1 } y_{ij} \in \{ 0,1 \} yij​∈{0,1}：二元变量，指示载具$v$是否直接从节点$x_i$到节点$x_j$
$B_i$：表示节点$x_i$的到达时间
$M$是一个足够大的数

为追求速度尽量快、距离尽量短，可以得到如下目标函数：
$$\min \sum _{i\in X}\sum _{j\in X}\frac{D_{ij}}{f}{y}_{ij}$$
约束条件如下：
∑ j ∈ X y i j = 1 , i ∈ X ′ ∑ i ∈ X y i j = 1 , j ∈ X ′ B j ≥ B i + D i j f − M ( 1 − y i j ) , i ∈ X ′ , j ∈ X ′ B i + n ≥ B i + D i , i + n f , i ∈ P , i + n ∈ D y i j = { 0 , 1 } , i ∈ X ′ , j ∈ X ′ B i ≥ 0 , i ∈ X ′ \begin{aligned} \sum_{j \in X} y_{i j} &=1, \quad i \in X^{\prime}\\ \sum_{i \in X} y_{i j} &=1, \quad j \in X^{\prime}\\ B_j & \geq B_i+\frac{D_{i j}}{f}-M\left(1-y_{i j}\right), \quad i \in X^{\prime}, j \in X^{\prime}\\ B_{i+n} & \geq B_i+\frac{D_{i, i+n}}{f}, \quad i \in P, i+n \in D\\ y_{i j} &=\{0,1\}, \quad i \in X^{\prime}, j \in X^{\prime} \\ B_i & \geq 0, \quad i \in X^{\prime} \end{aligned} j∈X∑​yij​i∈X∑​yij​Bj​Bi+n​yij​Bi​​=1,i∈X′=1,j∈X′≥Bi​+fDij​​−M(1−yij​),i∈X′,j∈X′≥Bi​+fDi,i+n​​,i∈P,i+n∈D={0,1},i∈X′,j∈X′≥0,i∈X′​

二、方法

1.PDP问题的RL形式

形式说明：

如图所示，其中节点1-3、2-4各自成对，节点1和2为pickup node，3和4位delivery node。
第一步：由于优先性限制，先将3和4掩盖。先选择节点1，之后将节点3去掩盖。路径中记录节点1，奖励为负值的时间。
第二步：选择节点2，余下与第一步同理。

Markov Decision Process (MDP)：
通常意义上的MDP马尔科夫决策过程包含一个五元组$<S,A,P,R,\gamma >$
$S$：有限状态集合；
$A$：有限动作集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}^a=p(s_{t+1}=s^{\prime }|s_t=s,A_t=a)$；状态转移矩阵 P 表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。
$R$：奖励函数$R_S^a=E[R_{t+1}|S_t=s,A_t=a]$ ，既状态单次转换取得的收益；
$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。

状态：$s_t=(L_t)$表示在时间$t$时的部分解决方案，其中$L_t$包含访问过的节点（含仓库）。

动作：在路径构建过程中，动作$a_t$用$(x_j)$表示。如步数$t$时选择节点$x_j$。

转移：下一状态$s_{t+1}=(L_{t+1})=(L_t;x_j)$，源于步数$t$是，在状态$s_t$时选择的节点。其中$;$表示将选择的节点与之前的路径连接。

奖励：为了使路线的总旅行时间最小，将奖励定义为目标值的负数，目标值由所有步骤的旅行时间的负数相加得到。$R={\sum }_{t=1}^T{r}_t$。
$$r_{t+1}=r(s_{t+1},a_{t+1})=r((L_{t+1}),(x_j))=-\frac{D_{ij}}{f}$$

策略：随机策略$p_{\theta }$在优先级约束下，在每个时间步自动选择一个节点。这个过程被反复重复，直到完成所有的取货-送货服务。执行该策略的最终结果是所有节点的排列，它规定了车辆访问每个节点的顺序。如： π = { π 1 , π 1 , . . . , π T } \pi=\{ \pi_1,\pi_1,...,\pi_T \} π={π1​,π1​,...,πT​}。链式分解为：
$$P(\pi \mid X)=\prod _{t=0}^{T-1}{p}_{\theta }\left({\pi }_t\mid X,{\pi }_{1:t-1}\right)$$
其中$X$是问题实例的输入。根据所学到的pθ进行节点选择决策。

2.基于异构注意力的策略网络

演员网络（actor network）和评论家网络（critic network）的强化学习方法。
演员网络（actor network）：在给定当前状态的所有动作上生成一个概率向量，然后相应地选择一个动作，迭代重复直到终止条件。其奖励是靠每一步的奖励累加得到的。

评论家网络（critic network）：作为actor network的基准，计算基准奖励只依赖初状态。

在收到两个网络的奖励后，学习策略$p_{\theta }$。

（1）编码器：

将pickup node和delivery node连接起来$x_i=(x_i;x_{i+n})$，增强配对关系。其中$;$表示将选择的向量连接。然后线性投影到一个 $d_h=128$ 维度的空间中。之后 node embeddings通过$N$个注意力层，每个注意层包含一个多头注意子层和一个前馈(FF)子层。

$i$为节点的指针，
$h_i^{l-1},i\in X$表示注意力层$l-1$的node embedding。
$d_k$为$query/key$维度，
$d_v$为$value$维度，
$M$是（异构注意力网络）的“头”数量，文章里取8。
$$d_k=d_v=\frac{d_h}{M}$$

给定输入序列$X$，自我注意力机制学习序列中任意两个元素之间的关系，以计算该序列的表示可以更好地提取特征。

为捕获关系，$query,key,value$向量基于$X$创建：
$$\begin{gathered} Q_i=W^Q{h}_i^{l-1}, \\ {K}_i=W^K{h}_i^{l-1}, \\ {V}_i=W^V{h}_i^{l-1}, \\ i\in X, \end{gathered}$$
其中$W^Q,W^K\in R^{d_h\times d_k}$ 和 $W^V\in R^{d_h\times d_v}$都为可以训练的参数矩阵。

缩放点积作为$query$和$key$的相似度函数（compatibility function），来衡量两个节点之间的重要性；然后再通过softmax函数计算所有节点的权重，求解中典型VRP的原始自我注意计算如下:

$$a_{ij}=\mathrm{softmax}\left(\frac{Q_i^T{K}_j}{\sqrt{d_k}}\right),i,j\in X$$
其中，$a_{ij}$的值越大，说明节点$x_i$越依赖于节点$x_j$。

PDP节点中可能有异构角色，比如取件节点和派送节点的角色不同；配送前必须取货；允许连续访问多个取件/交付节点。对节点的均匀处理可能会限制解决方案质量。

故而设计了六种注意力。每个pickup node构建三种类型的注意力，分别学习与其配对的delivery node、所有pickup node和所有delivery node的关系。同样的为每个delivery node构建类似的关系。
核心注意力–配对节点：
$$\begin{array}{rl}& Q_i^{pd}=W^{Q_{pd}}{h}_i^P,K_i^{pd}=W^K{h}_{i+n}^D,V_i^{pd}=W^V{h}_{i+n}^D,\\ & Q_i^{dp}=W^{Q_{dp}}{h}_i^D,K_i^{dp}=W^K{h}_{i-n}^P,V_i^{dp}=W^{V^V}{h}_{i-n}^P\end{array}$$
核心注意力–pickup node与任意节点：
$$\begin{array}{rl}& Q_i^{pP}=W^{Q_{pP}}{h}_i^P,K_i^{pP}=W^K{h}_i^P,V_i^{pP}=W^V{h}_i^P\\ & Q_i^{pD}=W^{Q_{pD}}{h}_i^P,K_i^{pD}=W^K{h}_i^D,V_i^{pD}=W^V{h}_i^D\end{array}$$
核心注意力–delivery node与任意节点：
$$\begin{array}{rl}& Q_i^{dP}=W^{Q_{dP}}{h}_i^D,K_i^{dP}=W^K{h}_i^P,V_i^{dP}=W^V{h}_i^P\\ & Q_i^{dD}=W^{Q_{dD}}{h}_i^D,K_i^{dD}=W^K{h}_i^D,V_i^{dD}=W^V{h}_i^D\end{array}$$
$h_i^P$是第$i$个pickup node 的 embedding
$h_j^D$是第$j$个delivery node 的 embedding
$h^{l-1}=Concat(h_0,h_i^P,h_j^D),\forall i\in P,\forall j\in D$为低$l-1$层的node embedding

所有参数矩阵都是可以训练的，并且与原始矩阵具有相同的大小。注意，为了加快训练速度，共享了7类注意力的所有$key$和$value$的参数矩阵，而独立保留了$query$的所有参数矩阵，为的是从不同的角度学习问题的性质。

即时注意力–配对节点
$$\begin{array}{rl}& a_{i,i+n}^{pd}=\mathrm{softmax}\left(\frac{Q_i^{pd}\ast K_{i+n}^{pd}}{\sqrt{d_k}}\right),i\in P\\ & a_{i,i-n}^{dp}=\mathrm{softmax}\left(\frac{Q_i^{dp}\ast K_{i-n}^{dp}}{\sqrt{d_k}}\right),i\in D\end{array}$$
$\ast$为元素积

即时注意力–剩余四种注意力
a i j y = softmax ⁡ ( Q i y T K j y d k ) , y ∈ { p P , p D , d P , d D } a_{i j}^y=\operatorname{softmax}\left(\frac{Q_i^{y T} K_j^y}{\sqrt{d_k}}\right), y \in\{p P, p D, d P, d D\} aijy​=softmax(dk​ ​QiyT​Kjy​​),y∈{pP,pD,dP,dD}

多头向量拼接不同的M头信息如下式，

$$\mathrm{MultiHead}\left(Q_i^y,K_j^y,V_j^y\right)=\mathrm{Concat}\left(h_i^1,\dots ,h_i^M\right)W^O$$
$W^O\in R^{d_h\times d_h}$是可训练的参数矩阵
$h_i$为单独的头向量
$Concat$为合并多个数组

$h_i$的计算如下

h i m = a i j V j + a i j p d ∗ V j p d + a i j d p ∗ V j d p + ∑ y ∑ j a i j y V j y y ∈ { p P , p D , d P , d D } , m ∈ { 1 , … , M } \begin{gathered} h_i^m=a_{i j} V_j+a_{i j}^{p d} * V_j^{p d}+a_{i j}^{d p} * V_j^{d p}+\sum_y \sum_j a_{i j}^y V_j^y \\ y \in\{p P, p D, d P, d D\}, \quad m \in\{1, \ldots, M\} \end{gathered} him​=aij​Vj​+aijpd​∗Vjpd​+aijdp​∗Vjdp​+y∑​j∑​aijy​Vjy​y∈{pP,pD,dP,dD},m∈{1,…,M}​

请注意，为了使得策略网络能够感知和学习-配对关系与优先约束，根据注意力类型将头添加到node embedding的不同部分。例如，从pickup node embedding到其他节点的注意力头只对pickup node有贡献，而添加到delivery node embedding的头为零。
注意力工作原理如下，

$$\begin{array}{rl}{h}_i^{l^{\prime }}& =B{N}^l\left(h_i^{l-1}+{\mathrm{MultiHead}}_i^l\left(Q_i^y,K_j^y,V_j^y\right)\right)\\ h_i^l& =B{N}^l(h_i^{l^{\prime }}+F{F}^l\left(h_i^{l^{\prime }}\right)\end{array}$$

$h_i^l$为在$l$层的node embedding，每层的参数是独立的。

每个多头注意力层和前馈层都由一个跳跃连接（skip-connection）和一个批量归一化层（BN）组成。

$h_i^N$graph embedding的输入，计算自最后一层node embedding的均值。${\bar{h}}_i^N=\frac{1}{2n+1}{\sum }_{i=0}^{2n}{h}_i^N$

$h_i^N$和${\bar{h}}_i^N$都是译码器的输入。

（2）译码器

给定来自编码器的graph embedding和node embedding，解码器将生成一个概率向量，用于在每个解码步骤中选择一个节点。为实现这个，output embedding是需要的。

$context{h}^c$为output embedding，由graph embedding和在步骤t的最后一个node embedding组成。
$$h^c=\mathrm{Concat}\left({\bar{h}}^N,h_{{\pi }_{t-1}}^N\right)$$

第一步，node embedding通常被替换为可训练的参数。

$glimpse{h}^g$用于聚合节点信息不同部分贡献
$$h^g=\mathrm{MultiHead}\left(W_g^Q{h}^c,W_g^K{h}^N,W_g^V{h}^N\right)$$
$W_g^Q,W_g^K\in R^{d_h\times d_k},W_g^V\in R^{d_h\times d_v}$为可训练的参数矩阵

若已知$q=W^Q{h}^g$ 和 $k_i=W^K{h}_i^N$，在步骤t时域所有节点的相似度函数（compatibility function）计算如下，

$$\begin{array}{c}{\hat{h}}^t=C\cdot \tanh \left(h^t\right)\\ h_i^t=\{\begin{array}{ll}\frac{q^T{k}_i}{\sqrt{d_k}},& \text{ if }i\notin {\pi }_{t^{\prime }},\forall t^{\prime }<t\\ -\infty ,& \text{ otherwise }\end{array}\end{array}$$
$C$设置为10，一边剪裁结果更好地搜索。

无效节点在每一步都被动态屏蔽以保证可行性。
最后，采用softmax函数计算概率向量。

$$p\left({\pi }_t\mid X,L_{t-1}\right)=\mathrm{softmax}\left(\widehat{h^t}\right)$$
$p_i^t$表示在步骤t时选择节点$x_i$的概率。

这一过程反复进行明知道所有节点都被访问并且车辆返回到站点。
关于解码策略，我们可以贪婪地选择每一步概率最大的节点，我们也可以采用多个解检索最好的一个。

（3）训练算法

基于roll-out

策略梯度法：
（1）actor network：如$p_{\theta }$通过在这些操作上生成概率向量来控制节点选择的操作，并根据概率进行采样以更好地探索操作空间

（2）self-critic network：$v_{\varphi }$，与actor network相似结构的roll-out基准，通过选择具有最大概率消除方差的结点来计算给定初始状态下的奖励。

（3）强化学习算法在获得行动者网络的奖励R和批评家网络的基线奖励vφ(X)后，利用策略梯度法对两个网络的参数进行相应的更新。

（4）具体而言，在每一个场景，我们为每个实例构造一条路径，并在第12行计算针对该解决方案的奖励，在第16行更新actor network的参数。
此外，实例b的critic network vφ(Xb)的期望奖励从第13行策略的贪婪滚出中获得。
此外，根据第18行[8]中几个固定数量实例的配对t检验，当行动者网络的性能显著优于critic network时，将批评家网络的参数替换为actor network的参数。
通过更新这两个网络，策略pθ被训练为寻找更高质量的解。

实验与分析

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。