GNN在文本分类上的应用 | (2) Text Level Graph Neural Network for Text Classification

论文下载链接

本篇博客是论文《Text Level Graph Neural Network for Text Classification》的阅读笔记。

目录

1. 简介

2. 方法

3. 实验

4. 结论

---

1. 简介

在上一篇博客中，我们介绍了TextGCN模型，即用GCN来做文本分类。他有如下的两个问题：

1）TextGCN为整个数据集/语料库构建一个异构图(包括(待分类)文档节点和单词节点),边的权重是固定的(单词节点间的边权重是两个单词的PMI，文档-单词节点间的边权重是TF-IDF)，固定权重限制了边的表达能力，而且为了获取一个全局表示不得不使用一个非常大的连接窗口。因此，构建的图非常大，而且边非常多，模型由很大的内存消耗。

2）上篇博客也提到了，TextGCN这种类型的模型，无法为新样本(文本)进行分类(在线测试)，因为图的架构和参数依赖于语料库/数据集，训练结束后就不能再修改了。（除非将新文本加入到语料库中，更新图的结构，重新训练......一般不会这样做，总之该类模型不能为新文本进行分类）

本篇论文提出了一个新的基于GNN的模型来做文本分类，解决了上述两个问题：

1）为每个输入文本/数据(text-level)都单独构建一个图，文本中的单词作为节点；而不是给整个语料库/数据集(corpus-level)构建一个大图（每个文本和单词作为节点）。在每个文本中，使用一个非常小的滑动窗口，文本中的每个单词只与其左右的p个词有边相连(包括自己，自连接)，而不是所有单词节点全连接。

2）相同单词节点的表示以及相同单词对之间边的权重全局(数据集/语料库中的所有文本/数据)共享，通过文本级别图的消息传播机制进行更新。

这样就可以消除单个输入文本和整个语料库/数据集的依赖负担，支持在线测试(新文本测试)；而且上下文窗口更