阅读笔记（Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks）

Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks

（每个文档都有自己的结构：基于图神经网络的归纳文本分类）

论文：https://arxiv.org/abs/2004.13826

摘要：针对现有的基于图的研究不能捕获每个文档中的上下文词关系、不能完成新词的归纳学习的问题。提出了一种通过GNN进行归纳文本分类的TextING模型。作者为每个文档建立了单独的图，构图方法是：预处理得到该文档的特征词，将特征词表示为节点（节点的嵌入用单词特征初始化），并将单词之间的共现关系表示为边，通过滑动窗口来确定词之间的共现关系。与TextGCN模型相比，该模型可以仅使用训练文本来描述详细的单词-单词关系，并推广到测试的新文本中。

图结构的确定：节点的嵌入用单词特征初始化，表示为h∈R^(|V|×d)，其中d是嵌入维度，图的邻接矩阵通过共现关系进行权值定义，如下：

门控图神经网络（GGCN）的传播规则：
作者使用门控图神经网络来学习单词节点的嵌入。节点可以从其相邻邻居接收信息a，然后与自己的表示合并以进行更新。当图层在第一阶邻居上运行时，作者可以将t层堆叠t次以实现高阶特征交互，其中一个节点可以到达距离为t的另一个节点。交互的公式为：

其中，A∈R^(|V|×|V|)是邻接矩阵，σ是 sigmoid 函数，W、U 和b是可训练的权重和偏置。z和r分别是更新门和重置门。式（1）是对前一时序处理的结果进行利用，通过邻接矩阵来筛选出那些跟节点有关联的节点特征信息作为输入来使用，此时可类比LSTM网络的思想，其中ht类似于新的记忆，at类似于历史记忆的存储载入，式（2）-（5）过程对应于GRU中的控制、遗忘等信息加工过程，为得到最后GRU网络的输出h，式（1）-（5）的过程会持续下去，直到向量收敛。

实验：作者用TextING和多个模型在5个公开数据集上进行了对比实验，结果如下：

可以看出， TextING在所有任务上均排名第一，在MR上的结果明显更高。

实验结果分析：
作者观察到基于图的方法通常胜过其他类型的模型，这表明图模型对文本处理有好处。
此外，TextING在所有任务上均排名第一，表明单个图形超过了全局图形。
特别是，在MR上的结果明显更高。因为MR中的短文档导致TextGCN中的低密度图，限制了标签消息在文档节点之间传递，而作者的各个图（文档）并不依赖于这种标签消息传递机制。另一个原因是，大约有三分之一的新单词出现在测试中，这表明Texting对看不见的单词更友好。 R8的改进相对微妙，因为R8易于安装且基线相当令人满意。 R8上新单词的比例也很低。多通道变体在所有数据集上也表现良好。这意味着该模型可以通过不同的渠道学习不同的模式。

小tip： “northern telecom proposes two one stock split”的对称邻接矩阵（TextING不考虑自连）