论文笔记：（用于文本分类的图卷积网络）Graph Convolutional Networks for Text Classification

1.研究背景

普通卷积神经网络研究的对象是具备规则空间结构的数据，如图片是规则的正方形，这些特征都可以用一维或二维的矩阵来表示，卷积神经网络处理起来比较高效。
然而，生活中很多数据不具备规则的空间结构，他们有不同的节点，同时呢，节点之间又有联系。那么，就用到了图卷积网络。

图数据有两个特点：每个节点有自己的特征；（点）图数据中的每个节点具有结构特征，即节点与节点存在一定的联系。（边）

GCN的每次计算操作，都是把每个节点和它的相邻节点的信息聚集起来，所以特征每次抽取完都会更加抽象。

2.TextGCN模型设计

如上图所示，例子取自Ohsumed语料库。以“O”开头的节点是文档节点，其他节点是字节点。黑色粗线是文档和单词的关系，灰色细线是单词和单词的关系。R(x)表示x的表示(嵌入)。不同的颜色表示不同的文档类(只显示了4个示例类以避免混乱)。CVD:心血管疾病，Neo:肿瘤，Resp:呼吸道疾病，Immun:免疫疾病。
对于TextGCN的实现过程如下：
把每个单词或文档都用one-hot编码进行向量化作为TextGCN的输入。我们根据文档和整个语料库单词的出现在节点之间构建边。文档节点与单词节点之间边的权值是单词在文档中的 TF-IDF值，为了利用全局词共现信息，我们对语料库中的所有文档使用固定大小的滑动窗口来收集共现统计信息。我们使用点对点互信息(PMI)，这是一种常用的词相关性度量，来计算两个词节点之间的权重。在形式上，定义节点i与节点j之间的边的权值为：

下面对PMI进行解释：

其中#W(i)是语料库中包含word i的滑动窗口的数量，#W(i, j)是同时包含word i和j的滑动窗口的数量，#W是语料库中滑动窗口的总数。PMI值为正表示语料库中词汇的语义相关性高，PMI值为负表示语料库中词汇的语义相关性低或不高。因此，我们只在PMI值为正的词对之间添加边。
在构建文本图之后，我们将图馈送到一个简单的两层GCN中，第二层节点(word/document)的嵌入具有与标签集相同的大小，并送到一个softmax分类器中：

同时这个模型的损失函数为：

3.实验结论

这个模型在五个数据集上实验：

文本分类任务准确率对比：

通过以上的分析我们可以得出文本GCN之所以能取得好的结果，主要有两个方面的原因:1)文本图可以同时捕捉文档-单词关系和全局单词-单词关系;2) GCN模型是拉普拉斯平滑的一种特殊形式，计算一个节点的新特征作为其自身及其二阶邻域的加权平均值。文档节点的标签信息可以传递到它们的相邻词节点(文档中的词)，然后转发到第一步相邻词节点的相邻词节点和文档节点。单词节点可以收集全面的文档标签信息，充当图中的桥梁或关键路径，使标签信息可以传播到整个图。然而，我们也观察到，文本GCN在MR.上并没有超过基于CNN和LSTM的模型，这是因为GCN忽略了在情感分类中非常有用的词序，而CNN和LSTM明确地对连续的单词序列进行了建模。另一个原因是MR文本图中的边比其他文本图少，这限制了节点之间的消息传递。只有很少的文件，因为文件很短。由于滑动窗口的数量较少，单词-单词边缘的数量也受到限制。然而，CNN和LSTM依赖于来自外部语料库的预先训练好的词嵌入，而文本GCN只使用目标输入语料库中的信息。
同时，首先，还实验通过改变训练集比例来测试准确性：

由图可以分析得出Text GCN可以在有限的训练集下实现更高的测试精度。
其次，通过在不同滑动窗口尺寸下的测试精度:
我们可以看到，随着窗口尺寸的增大，测试精度先增大，但当滑动窗口尺寸大于15时，平均精度停止增大。这表明，太小的滑动窗口不能生成足够的全局单词并发信息，而太大的滑动窗口可能会在节点之间添加不太相关的边。

综上，在本文中，提出了一种新的文本分类方法，称为文本图卷积网络(text Graph Convolutional Networks, text GCN)。为整个语料库建立了一个异构的word文档图，并将文档分类问题转化为节点分类问题。textGCN可以很好地捕捉全局词的并发信息，并且很好的利用有限的标记文档。一个简单的两层文本GCN通过在多个基准数据集上胜过许多先进的方法，展示了有希望的结果。