Reinforcement Learning for Solving the Vehicle Routing Problem

一、背景

本篇论文讨论一种有容量限制的版本CVRP，一辆有有限容量的车辆负责向地理分布的、需求有限的客户交付物品；当车辆的负载耗尽，它返回仓库补货。目标是最小化总的路线长度，前提是满足用户的需求。

二、模型

模型由一个递归神经网络（RNN）解码器和一个注意机制组成。
在每个时刻：静态元素的嵌入作为RNN解码器的输入，RNN的输出和动态元素嵌入被送入到一个注意力机制中，然后该注意力机制形成了可以在下一个决策点选择的可行目标的分布。
为了让模型智能地按照限制进行输出加入了mask方法对其进行限制：
1）无需求的顾客节点全部被mask 。
2）车没负载就mask所有节点，只保留仓库节点。
3）大于当前车辆负载的顾客需求节点被mask

三、公式