论文阅读-Less Is More - On the Importance of Sparsification for Transformers and Graph Neural Networks f

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何提高使用机器学习模型处理旅行商问题（TSP）的效率和性能。具体来说，论文关注于使用基于图神经网络（GNN）和变换器（Transformer）的编码器架构来处理TSP问题。作者指出，许多现有研究在使用这些编码器时，会将整个密集的TSP图作为输入，这样做会导致信息在图中的节点之间无差别地传播，从而使得节点嵌入包含大量不相关或冗余的信息。

为了解决这个问题，论文提出了一种数据预处理方法，即通过图稀疏化（graph sparsification），让编码器能够专注于TSP实例中最重要的部分。具体来说，论文提出了两种稀疏化方法：

1. k-最近邻（k-nearest neighbors）启发式：这是一种简单的方法，通过只保留每个节点的k个最近邻节点的边来稀疏化图。

2. 1-树（1-Trees）：这是一种基于最小生成树的方法，它通过计算每个节点的候选集来稀疏化图，这些候选集是基于LKH算法的1-树生成的，1-树是一种特殊的最小生成树，通过次梯度优化过程调整以更接近TSP的最优解。

此外，论文还提出了不同稀疏化水平的集成方法，允许模型同时关注TSP实例中最具前景的部分，同时保持所有节点之间的信息流动。

通过实验，作者证明了适当的稀疏化和不同稀疏化水平的集成可以显著提高GNN和变换器模型在TSP问题上的性能。论文还设计了一个新的、最先进的变换器编码器，通过集成不同稀疏化水平的注意力掩码（attention masking），进一步提高了模型性能。

Q: 有哪些相关研究？

A: 论文中提到的相关研究主要涉及以下几个方面：

1. 图神经网络（GNN）：GNN在处理图结构数据方面表现出强大的能力，例如在分子、社交网络或交通模型等领域。GNN通过消息传递机制来更新节点的特征向量，从而捕捉输入图的图结构。

2. 变换器模型（Transformers）：变换器模型在序列到序列的任务中取得了最先进的性能，如机器翻译。由于其能够处理序列数据，变换器也被用于编码器-解码器框架中，以生成旅行商问题（TSP）的解决方案。

3. 旅行商问题（TSP）&#x