【文献阅读】Graph Convolutional Networks for Text Classification

我们基于单词共现和文档单词关系为语料库构建单个文本图，然后为语料库学习文本图卷积网络（Text GCN）

我们的 Text GCN 使用单词和文档的 one-hot 表示进行初始化，然后在已知文档类标签的监督下共同学习单词和文档的嵌入。

Introduction

这些深度学习模型可以很好地捕捉局部连续单词序列中的语义和句法信息，但可能会忽略携带不连续和长的语料库中的全局单词共现。距离语义（Peng et al. 2018）。

图神经网络在被认为具有丰富关系结构的任务中非常有效，并且可以在图嵌入中保留图的全局结构信息。

我们从整个语料库构建一个大图，其中包含作为节点的单词和文档。 我们使用图卷积网络 (GCN) (Kipf and Welling 2017) 对图进行建模，这是一种简单有效的图神经网络，可捕获高阶邻域信息。 两个词节点之间的边是由词的共现信息构成的，词节点和文档节点之间的边是由词频和词的文档频率构成的。然后我们将文本分类问题转化为节点分类问题。 该方法可以用小部分标记文档实现强大的分类性能，并学习可解释的单词和文档节点嵌入。

主要贡献：

1. 我们提出了一种用于文本分类的新型图神经网络方法
2. 几个基准数据集的结果表明，我们的方法优于最先进的文本分类方法，无需使用预训练的词嵌入或外部知识。我们的方法还自动学习预测词和文档嵌入。

Related work

基于词嵌入模型

我们的工作与这些方法相关，主要区别在于这些方法在学习词嵌入之后构建文本表示，而我们同时学习词和文档嵌入以进行文本分类。

采用深度神经网络

虽然这些方法CNN、RNN、Attention有效且应用广泛，但它们主要关注局部连续词序列，而没有明确使用语料库中的全局词共现信息。

图神经网络

与其他人基于图神经网络的文本分类相比，要么将文档或句子视为单词节点的图，要么依赖于不常见的文档引用构建图的关系。相反，在构建语料图时，我们将文档和单词视为节点（因此是异构图），并且不需要文档间的关系。

Methodology

构建图结构文本

1. 图结点：图包含单词级别和文档级别两种类型的结点
   • 文本图中的节点数 |V|是文档的数量（语料库大小）加上语料库中唯一词的数量（词汇量）。
   • 每个单词或文档都表示为一个one-hot vector作为 Text GCN 的输入
2. 图的边：只包含两种边（文档-单词；单词-单词），我们基于单词在文档中的出现情况(document-word edges)和单词在整个语料库中的共现情况(word-word edges)构建节点间的边。
3. 边权：
   • 文档-单词：文档节点和单词节点之间边缘的权重是该单词在文档中的词频逆文档频率(term frequency-inverse document frequency, TF-IDF)
   • 单词-单词：采用逐点互信息（PMI），一种流行的词关联度量，来计算两个词节点之间的权重。
     PMI 值为正表示语料库中单词的语义相关性较高，而 PMI 值为负表示语料库中的语义相关性很小或没有。 因此，我们只在具有正 PMI 值的词对之间添加边。
4. 在构建文本图之后，将图输入到一个简单的两层 GCN 中，如（Kipf 和 Welling 2017），第二层节点（单词/文档）嵌入与标签集具有相同的大小，并输入到 softmax 分类器

两层 GCN 可以允许在最多两步之外的节点之间传递消息。 因此，尽管图中没有直接的文档-文档边，但两层 GCN 允许文档对之间的信息交换。

Conclusion

我们为整个语料库构建异构单词文档图，并将文档分类转化为节点分类问题。 文本 GCN 可以捕获全局单词共现信息并很好地利用有限的标记文档。