【论文阅读】Spectral-Pointer Network: Pre-sort leads the Pointer Network to elude the TSP vortex

论文基本信息

《Spectral-Pointer Network: Pre-sort leads the Pointer Network to elude the TSP vortex》

摘要

TSP是数学中的一个重要的研究领域。它在现实应用中有许多重要的应用，如机器人路径规划、有序分布最优路径等。现有的基于注意机制的指针网络在解决具有大量节点输入的TSP问题时，往往会消耗大量的计算能力，而且仍然难以获得令人满意的路由规划。因此，本文提出了一种频谱指针网络，即一种具有预分类能力的指针网络，以优化当前指针网络的性能。工作证明表明，谱点网络比现有的指针网络和kmeans指针网络具有更强的适应性和更合理的规划。证明了谱指针网络具有远远超出训练长度的模型泛化能力，且计算代价很少，极大地优化了训练不足下的泛化能力问题与指针网络高计算代价问题之间的矛盾。

1.引言

TSP是旅行推销问题，是数学中的著名问题之一。经典的TSP问题可以被描述为一个想要在几个城市销售商品的商品推销员。推销员从一个城市开始，需要经过所有的城市之前，再返回到开始的地方。其目标是选择一条旅行路线，以尽量减少整个旅程。从图论的角度来看，这个问题的本质是在一个加权的、完全无向的图中找到一个权重最可忽略的哈密顿电路。

到目前为止，许多算法已经被证明是有效的解决这个经典问题：从启发式算法，如模拟退火算法[1]和遗传算法[2]到SOM对抗网络[3]，这些算法给出了更好的优化结果。然而，在解决更复杂的TSP问题时，这些算法往往受到其体系结构的限制。例如，SOM对抗性网络在处理VRP问题或拾取传递问题方面具有挑战性，当输出序列的大小不确定时，遗传算法在规划路径方面具有挑战性。随着Seq-to-Seq模型[4]作为概率近似模型在各个领域的成功应用，TSP问题似乎也以同样的方式得到了解决。然而，传统的Seqto-Seq模型必须提前确定输出类别。然而，对于TSP问题、凸包问题和德拉内三角测量问题等问题，输出类别不能预先确定，但会随着输入而变化。指针网络的出现解决了这一限制。

指针网络最早由Oriol等人[5]于2015年提出，并由Bello等人[6]用于解决TSP问题。他们使用𝐴𝑐𝑡𝑜𝑟−𝐶𝑟𝑖𝑡𝑖𝑐来训练点网络，并向世界展示了指针网络在解决TSP问题方面的巨大潜力。

指针网络利用注意机制对seq-to-seq模型进行了改进，并允许输出可变大小字典的输出，这使得点网络获得了在训练长度之外的泛化能力。然而，这种泛化能力是有限的，并且以较高的计算成本为代价。具体来说，我们发现，当只接受不充分的长度训练时，如规划在训练长度之外的旅行路线，其性能没有达到预期，这使得人们仍然需要训练与测试集相同长度的网络，以获得更好的结果。同时，随着城市节点数量的逐渐增加，指针网络完成路径规划所需的计算成本也在爆炸性增加，这表明指针网络在TSP中的潜力尚未得到深入探索。

因此，我们提出了频谱-指针网络。其核心思想是通过光谱聚类对原始的大规模数据集进行分类，形成几个样本量等于指针网络训练长度的城市集群，并预先规划城市集群中心的旅行路线。在初步确定旅行订单后，在各集群内进行路线规划。最后，根据集群中心的排名，依次连接每个集群，重建整个数据集的旅行路线。这种利用无监督分类方法对大数据集进行分类和预排序，然后对每个聚类的内部顺序进行规划，从而使我们的模型有效地解决了指针网络在低训练长度和高计算成本下的泛化能力问题。我们只需要关注较少节点数的训练效果，我们就可以获得远远超过这个节点数的路由规划能力。同时，计算能力开销没有显著增加，但保持在与训练相同的水平。

2.相关工作

3. METHOD

4. RESULT & DISCUSSION

5. 总结

TSP问题被广泛应用，如顺序分布和机器人路径规划，它们是TSP问题的扩展或变体。现有的指针网络采用神经注意机制来解决变量大小的输出字典问题，并将其扩展到解决TSP问题中，取得了较好的效果。然而，注意机制也导致了现有的点网络的计算成本较高。同时，仅在较低数量级的训练下，模型的泛化能力严重缺乏。因此，本文提出了一种结合了频谱聚类和指针网络的混合算法，大大降低了训练成本。谱指针网络神经网络结构创新地结合谱聚类算法，对输入序列进行无监督分类，形成多个城市聚类，并找到每个聚类的质心。预先规划出行顺序，然后对集群内的城市进行路线规划。最后，优化集群间出入口的连接顺序，重建所有城市出行路线。

我们对模型的训练参数进行了优化，并为后续的仿真实验确定了最优参数。仿真结果表明，频谱指针网络规划的线路里程远低于公里指针网络和指针网络。因此，它在解决TSP问题方面比kmeans-指针网络和指针网络具有明显的优势。随着输入节点数量的增加，这种优势变得越来越明显。例如，在规划400个城市的路线时，光谱指针网络规划的里程比k指针网络短了近1700英里。但是，在城市节点数量众多的情况下，指针网络高度依赖于硬件性能，规划的路由可能不合理，甚至无法正常运行。

一般来说，预分类确实会使指针网络走出TSP漩涡。谱指针网络是一种基于指针网络的混合算法，性能较好。然而，频谱指针网络仍有优化的空间，如运行时间和路径交叉问题。对于运行时的问题，我们认为运行时可以通过多线程进行优化。虽然我们已经对路线交叉问题进行了一些优化界面的尝试，但它不如传统的启发式算法好，这也是后续的优化方向之一。我们希望我们的工作能吸引更多的人对TSP的关注，并进一步促进指针网络在TSP问题中的应用。

补充

为了解决 计算成本较高，模型泛化性能较差。