ICLR 2023 | Edgeformers: 基于Transformer架构的表征学习框架

如今流行的预训练语言模型大多采用 Transformer 作为模型架构，已经在诸多下游任务中（包括文本分类，文本摘要，文本生成）表现出了强劲的性能。然而目前大多数针对预训练模型的应用主要集中在纯文本领域，对伴随着网络结构信息的文本数据缺乏相关研究。

另一方面，图神经网络在图数据的建模问题中应用十分广泛。然而，现存的图神经网络需要将图中点/边所原本带有的信息转化为特征向量输入到模型中。但是当图中的点/边带有文本信息时，它们通常需要使用词袋模型首先进行文本信息提取。在这个过程中，原始文本丰富的语义信息将会被折损。

本文主要研究了边上带有文本的图（用户-商品交互图，社交网络）上的表示学习问题。针对预训练语言模型和图神经网络模型的问题，我们提出了一套基于 Transformer 架构的编码方法，解决了文本语义信息和网络结构信息难以共同建模的问题。

论文题目：

Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

收录会议：

ICLR 2023

论文链接：

https://openreview.net/pdf?id=2YQrqe4RNv

代码链接：

https://github.com/PeterGriffinJin/Edgeformers

研究背景

现实生活网络（社交网络/信息网络）数据中的边常常带有丰富的文本信息。比如，社交网络中用户之间会有 email 消息交流，我们如果将用户建模成网络中的点，用户之间的交互建模成网络中的边，那么边就会自然的带有 email 文本信息；电子商务平台中用户常常会给购买过的商品留下评论文本，我们如果将用户和商品建模成网络中的点，用户和商品之间的交互建模