ICLR2023基于Transformer的社交知识图谱

EDGEFORMERS: GRAPH-EMPOWERED TRANSFORMERS FOR REPRESENTATION LEARNING ON TEXTUAL EDGE NETWORKS

摘要

一种新的图增强 Transformer 框架，为网络边缘的文本信息建模，用于边缘和节点的表示学习，在编码边缘文本将信息注入到每个transformer层，并在节点表示学习中通过attention在每个节点的图中聚合边表示，用于边分类和链接预测。现实中社交网络边与文本信息关联（如用户之间的信息与用户-产品评论），传统gnn侧重于传播和聚合节点属性缺乏文本语义，初始化边属性作为特征向量不能充分捕捉边的上下文文本。

创新与展望

现有的网络表示学习模型缺乏利用边缘文本语义的设计，而边缘往往与现实世界的社会/信息网络中的丰富文本信息相关；
Edgeformers 提出一种新的图增强 Transformer 框架，以上下文方式将网络和文本信息深度结合，用于边缘和节点的表示学习；
Edgeformer 在五个不同领域的公共数据集上的表现优于各种基线，包括以节点为中心的 GNN、边缘感知 GNN 和 PLM-GNN 级联架构，证明了 Edgeformer 在边缘级和节点级任务上的优势；
虚拟节点的表示由初始节点嵌入与该层的网络权值矩阵相乘而得，可以使用更好的向量嵌入方法超越线性映射的方法进行拓展。
探索将图网络结构信号引入
transformer文本编码的其它变体/将该框架应用于更多与网络相关的任务，如推荐系统与社会网络分析。
未来方向包括探索将网络信号引入 Transformer 文本编码的其他变体，并将该框架应用于更多的网络相关任务，如推荐和丰富文本社会网络分析。

关键点

1.现有只研究节点属性的gnn缺乏特定设计捕获边的信息，而一些感知边的模型解设信息直接描述为属性向量，适用于分类特征而不是自由的文本信息，主要原因是之前感知边的模型使用的词袋与无上下文嵌入的方法不能完全捕捉上下文的语义。也有研究在transformer层之间引入嵌套的gnn一遍中心节点编码利用自己与邻节点的文本信息，但其假设只有节点与文本相关不能处理节点互动的文本边。
2.本文利用图增强的transformer以上下文方式建模交互边文本，通过两个结构edgeformer-e与edgeformer-n分别处理边缘(在编码边文本时想预训练模型内部的每个transformer层添加虚拟节点令牌)和节点(通过节点的中心图的attention聚合图中网络与文本的边的表示以获得节点表示)表示学习。边分类依赖于边的表示，链接预测依赖于节点表示。本文假设文本在每条边上作为一个文档，所有文档构成一个语料库，并假设没有与网络节点相关的属性。
3.利用目标节点的附加局部图结构增强边的表示学习，也可以通过提供辅助语义信息改进多个边彼此的信息。由于edgeformer-e学习的边的表示同时捕获文本语义与图结构信息，因此获得节点表示的一种直接方法是聚合设计节点的所有边的表示。而edgeformer-n采用transformer的结构可以看作是GNN的模型，采用传播-聚合的范式获取节点表示。

方法

1.边的分类，如评论网站中边代表某用户对某物品的满意程度，这能通过文本与物品的质量反映，因此可以根据评论文本与物品信息预测边的类别。链接预测，需要利用涉及两个节点的其它边信息及其文本学习两个节点的表示，例如评论网站根据用户对其它产品的评论与其他用户对该商品的偏科预测该用户是否会对该产品满意。
2.由于文本语义能被多层transformer捕获，本文将网络结构信息输入transformer的编码过程中，关键思想是引入虚拟节点令牌，在每一层中引入两个虚拟节点令牌，其向量嵌入被连接到文本标记序列中。多头注意力机制的输出包括更新的具有节点感知能力的文本标记表示，而更新后的表示通过前馈网络完成下一层模型层的编码。为避免过拟合，本文在边的生成中设置初始节点嵌入为低维，并将其投影到高维的表示空间。

开源地址

https://github.com/PeterGriffinJin/Edgeformers

数据集

Amazon-Movie Amazon-Apps Goodreads-Crime Goodreads-Children StackOverflow

基准模型

MF MeanSAGE MaxSAGE GIN CensNet NENN BERT BERT+MaxSAGE BERT+MeanSAGE BERT+GIN GraphFormers BERT+CensNet BERT+NENN