论文阅读总结（Graph Convolutional Networks for Text Classification）

Graph Convolutional Networks for Text Classification（用于文本分类的图卷积网络）

论文：https://arxiv.org/abs/1809.05679v1
推荐继续阅读：Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks

摘要：作者介绍了其TextGCN的方法，作者在语料库中构建图，其构图方式是：词节点与词节点之间连边，同时词节点和文档节点之间也连边，文档节点和文档节点之间不连边，这样就构成了一个异构图。（词节点和文档节点初始化都使用one-hot表示）词节点与词节点之间边的权重利用单词共现信息计算得到的逐点互信息（PMI）来表示，词节点和文档节点之间边的权重利用TF-IDF算法计算得到。该模型利用了其他模型没有考虑到的全局词共现信息，在较少训练数据时体现了较好的鲁棒性。其中TextGCN的一个对比优势是能够自动学习作为node embedding 的文本表示。
图1：TextGCN的示意图
异构图中黑色粗的线连的是文档–词的边，灰色细的线连的是词–词的边，O开头的是文档，R(x)指的x的embedding）

图结构的确定：节点特征矩阵X是一个单位矩阵I（因为是用one-hot 表示），然后对图的邻接矩阵进行了权值定义，如下：

词对i，j的PMI值计算方法为：

其中，共现通过滑动窗口在文档中滑动来确定。#W(i，j)指节点i，j共同出现的滑动窗口数，#W(i)指节点i出现的滑动窗口数，#W是滑动窗口总数。PMI 为正表示词存在共现，也就是会出现在一起；PMI为负则说明词没有出现在一起。作者仅对PMI为正的词节点之间建边。

实验：作者用TextGCN和多个模型在5个公开数据集上进行了对比实验，结果如下：
可以看出前4个数据集TextGCN的accuracy最高，在MR数据集上则没有特别好的效果。

实验结果分析：

1. 作者总结了TextGCN的accuracy较好的原因：

• TextGCN构建的文本图可以捕获到文档–词的关系和全局的词–词的关系；
• 由于GCN结构的拉普拉斯平滑性，文档节点的信息可以通过一阶邻接词节点进行传递，这样的话词节点就可以收集较为全面的文本节点信息，具有充当文本图中的桥梁的作用，使标签节点的信息能够传递到整个图。

2. TextGCN在MR数据集发挥效果不佳的原因：

• GCN的网络结构使得词序被忽略了（而这在情感分析中是较为重要的）；
• MR数据集较小，它的边数比其他文本图少，这就限制了节点之间的信息传递。
  总结和展望：
  本文作者提出了做text classification的两层GCN网络模型并取得了较好的效果，是第一次将GCN结合文本分类的尝试，但是仍存在一些问题：GCN的网络结构无法快速生成node embedding以及预测未知的文档文本。这里作者提出了可能的解决方式有引入归纳机制，或fastGCN网络结构等。
  同时，未来的展望方向有：可以引入注意力机制及发展无监督的textGCN框架。

参考：
AAAI 2019 论文解读：卷积神经网络继续进步
Graph Convolutional Networks for Text Classification阅读笔记
《Gated Graph Sequence Neural Networks》阅读笔记
推荐系统 - SR GNN架构详解（包含图神经网络GNN和门控图神经网络GGNN的介绍）
论文阅读总结（Graph Convolutional Networks for Text Classification）