优化大规模混合车队：增强决策的嵌套图强化学习方法

众所周知，编队技术的能力在于精确控制车辆、优化交通流量以及提高能源经济性。编队行驶通过使车辆紧密且同步移动来减少空气阻力，提高燃油效率，并扩大道路容量。然而，当涉及由具有不同程度自动化、智能和通信能力的车辆组成的大规模混合车队时，会出现许多问题。

虚拟瓶颈的形成是最大的问题之一。当车辆行为和反应的异常导致车队内交通流的顺畅性受到干扰时，就会出现虚拟瓶颈。这些瓶颈通常是由于车队中车辆种类的差异引起的，驾驶行为、反应时间和通信能力的差异可能导致交通吞吐量减少和能耗增加。例如，一辆人工驾驶车辆或技术较低级的自动驾驶车辆可能会突然改变速度或无法保持恒定距离，这会影响整个车队。这种多米诺效应可能会造成大量低效的走走停停的交通，从而需要更多的能量。

为了解决这些问题，提出了一种基于堆叠图强化学习的独特决策方法。该策略的主要目标是改善车队内的合作决策，以减少交通和提高能效。这种方法的独特之处在于创建了一种嵌套交通图表示的理论。通过在非欧几里得区域中映射车辆和车队之间的动态互动，这一理论可以准确反映现实交通情况下存在的复杂非线性关系。

该策略的多头注意力机制集成了时空加权图表。这种集成大大提高了模型处理本地数据（如每辆车的直接周围环境）及全球数据（如车队的总体构成和动作）的能力。通过这样做，模型可以更准确地预测和应对交通情况的变化，从而实现更高效和稳定的车队运行。

还创建了一个嵌套的图强化学习框架，以提高车队系统的自迭代学习能力。这意味着系统可以通过不断从其经验中学习，随着时间的推移做出更好的决策，从而在动态和不可预知的交通情况下更有效地运行。

这一方法的有效性通过一系列使用I-24数据集的测试得到了证明。这些测试包括渗透性能消融测试、可推广性评估和比较算法测试。结果显示，所提出的方法明显优于基线方法。特别是，该方法减少了9%的能耗，并提高了10%的交通吞吐量。

研究中的一个重要发现是增加连接和自动驾驶车辆（CAVs）在车队中的渗透率的效果。尽管增加CAV渗透率确实进一步提高了交通吞吐量，但能耗也略有增加。这意味着虽然CAVs可以提高交通流效率，但在能耗方面存在权衡，很可能是因为这些车辆需要更多资源进行计算和通信。

团队总结了他们的主要贡献如下。

1. 通过基于分层交通图理论的决策框架，解决了混合车队中的车辆异质性问题，这些问题经常导致虚拟瓶颈。该框架包括一个嵌套的交通图表示、多头嵌套图注意力网络、多目标密集奖励模型和嵌套图马尔可夫决策过程（NG-MDP）。

2. 展示了一种用于描述非欧几里得域中动态时空互动的分层图表示方法。该技术通过识别和处理非同质循环图结构，提高了节点特征信息的准确性。

3. 通过结合节点属性与时空数据，动态权重邻接矩阵提高了车辆互动的表示。在多头图注意力机制的配合下，它增强了模型处理本地和全球数据的能力。

4. 通过广泛的模拟实验验证了该框架，显示了在大规模混合车队中提高能效、交通流量和拥堵管理的效果。

总之，嵌套图强化学习在解决大规模混合车队问题上取得了重大进展。提高车队适应不同车辆配置和变化无常的交通模式的能力，可以带来未来交通系统效率和可持续性的提高。