GNN NLP(15) Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification

EMNLP2021.

Method

本文提出了一个基于图神经网络的短文本分类框架，用于捕捉短文本之间的稀疏语义关系。具体来说，提出了两种不同的构图方式：word-level component graphs以及short document graph。前者描述了词、词性标签和实体之间的交互作用，该组件图易于提取，并携带额外的语义和句法信息以弥补上下文信息的不足；后者是动态学习和优化的，以编码短文档之间的相似性，从而使更有效的标签传播之间的连接相似的短文档。
词级别的图一共有三种类型 τ ∈ { w , p , e } \tau \in \{w,p,e\} τ∈{w,p,e}。$w$表示一单词之间的关系图，$p$使用POS标记短文中每个词的名词、动词等句法角色，有助于区分歧义词，$e$对应于能在辅助知识库中找到的词，以便补充知识。文档图则是自动学习的，自适应地为相似的文档之间添加边。

Word-Level Component Graphs

Node Embedding Learning

在给定相应的word图之后，本文使用简单的GCN进行节点特征学习：

Graph Construction

Word Graph $G_w$。使用互信息进行构建：

其中$v_w^i$表示单词节点，当互信息大于0说明单词之间存在正向关系，因此添加边。之后，节点初始化为一个one-hot向量$x_w^i$，然后使用公式（1）进行学习，得到$H_w$。
POS Tag Graph $G_p$。同$G_w$类似，先使用NLTK对数据进行词性标注，然后以词性为节点$V_p$，通过计算词性之间的互信息构建图：

Entity Graph $G_e$。通过链接到外部知识库NELL进行实体的查找，一般来说一句话通常只包含一个实体，因此无法计算实体之间的互信息。因此，本文对NELL知识图谱首先做了一个TranE的嵌入，然后计算实体之间的余弦相似性$c(v_e^i,v_e^j)$，并构建实体之间的边：

Short Document Graph

文档图使用$G_s$进行表示，旨在捕捉文档级别的相似度并进行标签传播学习。$G_s$节点的特征可以由word-level图的层次池化得到。

Hierarchical Pooling

给定由公式(1)计算的$H_{\tau }\in R^{|V_{\tau }|\times d}$，使用如下方式进行池化：

这里，$u(x)=x/||x|{|}_2$，用于对特征的normalization，然后$s_{\tau }$应该是一个$|D|\times |V_{\tau }|$的矩阵，用于将单词特征聚合到文档特征上。$s_{\tau }^i$的生成方式如下：

• 当$\tau =w,p$，使用$v_{\tau }$以及文档$v_s$之间的TF-IDF构建边：
  
  而后，需要normalize $s_{\tau }$：
  
• 当$\tau =e$，则如果实体$v_e^j$在文档$v_s^i$中，那就是1，否则边值就是0。同样，也需要进行normalize。

之后，三种不同类型词图对应的特征进行拼接得到相应文档的特征表示：

Dynamic Graph Learning

之后，采用文档特征之间的相似度去学习邻接矩阵：

最终，文档节点的标签概率分布由另外两层GCN学习得到：

损失函数是简单的交叉熵：

Experiments

数据集：

实验结果：

参数数量：

不同图组件的消融实验：


一些参数分析：