GNN在文本分类上的应用 | (3) TensorGCN

最新推荐文章于 2023-02-15 11:28:06 发布

CoreJT

最新推荐文章于 2023-02-15 11:28:06 发布

阅读量3.9k

点赞数 5

分类专栏： GNN在文本分类上的应用文章标签： TensorGCN 图间传播多图融合

本文链接：https://blog.csdn.net/sdu_hao/article/details/104228815

版权

论文下载链接

开源实现

本篇博客是对论文《Tensor Graph Convolutional Networks for Text Classification》的阅读笔记。

图神经网络（GNN，Graph Neural Networks）用于图结构数据的深度学习架构，具有强大的表征建模能力，将端到端学习与归纳推理相结合，业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题。图神经网络在文本分类也有深入的应用，在本专栏第一篇博客中曾介绍了一篇AAA2019的论文TextGCN，本篇博客介绍的AAAI2020论文TensorGCN更近一步，TensorGCN在TextGCN基础上做了改进，进一步提高了文本分类的性能。TextGCN把语料库/数据集的所有文档和单词作为节点构建一个基于序列的异构图，TensorGCN同样把语料库/数据集的所有文档和单词作为节点分别构建基于语义、句法和序列的三个异构图，形成一个文本图张量，Tensor由此得名，另一个不同是，既然是多图处理，自然除了基本的各个图内传播，还有就是图间传播，整合以及协调各个异构图的信息，具体细节会在下文详细阐述。

1. 摘要

本文研究了基于图神经网络在文本分类问题中的应用，并提出了一种新的框架TensorGCN(张量图卷积网络)。首先构造一个文本图张量来描述语义、句法和序列上下文信息。然后，对文本图张量进行两种传播学习。第一种是图内传播，用于在单个图中聚合来自邻域节点的信息。第二种是图间传播，用于协调图之间的异构信息。在基准数据集上进行的大量的实验表明了该框架的有效性。我们提出的TensorGCN为协调和集成来自不同类型图的异构信息提供了一种有效的方法。

2. 介绍

文本分类是自然语言处理领域最基本的任务之一。它可以简单地表示为X→y，其中X是一段文本(例如句子/文档)， $y \in [0,1]^{n}$ 是对应的标签向量。文本表示学习是文本分类问题的第一步，也是必不可少的一步。与之前基于手工特征（词袋特征、稀疏词汇特征）等方法不同，现有的文本分类方法主要分为基于序列的学习模型与基于图的学习模型。基于序列的学习模型利用CNN或RNN从局部连续单词序列中捕获文本特征；基于图的学习模型根据单词之间的顺序/序列上下文关系构建文本图(TextGCN)，然后采用图卷积网络(GCN)对文本图进行学习。

但是在文本分类任务中应该考虑更多的语境信息，比如语义和句法语境信息。因此，我们提出了一个新的基于图的文本分类框架TensorGCN（三个文本图：基于顺序/序列、语义、句法）。

首先构造基于语义，基于句法和基于顺序的三个文本图，以形成文本图张量。图张量分别用于获取语义上下文、句法上下文和序列上下文的文本信息。为了编码来自多个图的异构信息TensorGCN同时执行两种传播学习。对于每一层，各个（3个）文本图首先执行图内传播以聚集来自每个节点的邻居的信息。然后使用图间传播来协调各个图之间的异构信息。本文的贡献如下:

1）构造了一个文本图张量来分别描述具有语义、句法和顺序约束的上下文信息

2）提出了一种学习方法TensorGCN，用于协调和集成多个图中的异构信息。

3）在几个基准数据集上进行了大量的实验，说明了TensorGCN在文本分类中的有效性。