ICLR 2023 | Specformer: 基于Transformer的集合到集合图谱滤波器

©作者 | 薄德瑜

单位 | 北京邮电大学博士生

来源 | 北邮GAMMA Lab

论文标题：

Specformer: Spectral Graph Neural Networks Meet Transformers

收录会议：

ICLR 2023

论文地址：

https://openreview.net/pdf?id=0pdSt3oyJa1

摘要

图神经网络已经在机器学习领域取得了巨大的成功。根据图信号的处理方式，图神经网络可以大致分为两类，即空域图神经网络和谱域图神经网络。空域图神经网络通常采用消息传递的框架，在节点域通过传播图上的局部信息来学习有用的图表示；谱域图神经网络则通过图滤波器在频谱域对特征进行滤波，通常能够学习到非局部的信息。

一个更详细的讨论可以见论文“A Survey on Spectral Graph Neural Networks”。虽然空域图神经网络已经在许多领域取得了令人印象深刻的表现，但是谱域图神经网络仍然没有被充分研究。

谱域图神经网络未能赶上的原因有两个。首先，大多数现有的图滤波器本质上是标量到标量的函数。特别地，它们把一个单一的特征值作为输入，并对所有特征值应用相同的滤波函数。这种滤波机制可能忽略了嵌入在频谱中的丰富信息，即特征值的集合属性。

例如，从谱图理论中我们知道，特征值 0 的代数重数代表着图中连通分量的数量。然而，这样的信息不能被标量到标量的滤波器所捕获。第二，频谱滤波器通常是通过固定（或截断）的正交基近似的，例如切比雪夫多项式和图小波，避免了昂贵的谱分解。虽然正交性是一个很好的属性，但这种截断的近似方法的表现力较差，可能会严重限制图表示学习。

为了提升谱域图神经网络，一个自然的问题是我们如何构建能够有效利用频谱信息且富有表现力的频谱滤波器？，为了回答这个问题，我们首先注意到图拉普拉斯算子的特征值表示频率，即相应特征向量的总变差（total variation）。因此，频率的幅值传达了丰富的信息。此外，两个特征值之间的相对差异也反映了重要的信息，即谱间隙（spectral gap）。

为了学习到频率的幅值和频率的相对大小，我们提出了一种基于 Transformer 的集合到集合图谱滤波器，称为 Specformer。它首先通过位置嵌入对特征值进行编码，然后利用自注意力机制从特征值集合中学习相关信息。依靠学习到的特征值表示，我们还设计了一个带有一组可学习基的解码器。最后，通过组合这些基，Specformer 可以构造一个置换等变和非局部图卷积。

方法

2.1 特征值编码

我们利用 Transformer 中的自注意力机制来完成特征值之间的交互，以利用所有特征值的幅值和相对差异。然而，如果我们直接使用标量特征值来计算自注意力，其拟合能力将受到严重限制。因此，重要的是找到一个合适的函数来将每个特征值从标量映射乘有意义的向量。我们使用如下特征值编码函数：

经过特征值编码后，我们将其输入到标准的 Transformer 网络中进行学习：

2.2 特征值解码

将 Transformer 作为编码器对特征值表示进行学习后，解码器可以解码出新的特征值进行滤波。最近的研究表明，为每个特征维度分配一个独立的滤波器可以提高图神经网络的性能。受这一发现的启发，我们的解码器首先解码出几个基滤波器，然后使用神经网络组合这些基以构建最终的图卷积。

2.3 实验

我们在合成数据的回归任务、节点级别任务和图级别任务上做了大量的实验，验证了模型的有效性。

2.3.1 合成数据

2.3.2 节点级别任务

2.3.3 图级别任务

2.3.4 消融实验

2.3.5 可视化实验

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·