论文阅读-(HyperGAT)Be More with Less: Hypergraph Attention Networks for Inductive Text Classification

Be More with Less: Hypergraph Attention Networks for Inductive Text Classification

一、摘要

文本分类是自然语言处理中一个重要的研究课题，有着广泛的应用。最近，图神经网络(gnn)在研究界得到了越来越多的关注，并在这一规范任务中展示了有前景的结果。
GNN 在文本分类表现能力受损：
因为:(1)无法捕捉单词之间的高阶相互作用;(2)处理大型数据集和新文档效率低下。
在本文中，提出了一个原则性模型-超图注意网络(HyperGAT)，它可以在文本表示学习中以更少的计算消耗获得更强的表达能力。在各种基准数据集上的大量实验证明了所提出的方法在文本分类任务中的有效性。

二、在文本分类先前任务中的局限：

(i)表达能力。现有的基于gnn的方法主要集中于单词之间的成对交互（即二元关系）。然而，在自然语言中，单词交互并不一定是二元的，而可以是三元的、四元的或更高阶的。

因此，如何超越成对关系，进一步捕获高阶词的交互，对于高质量的文本表示学习至关重要，但仍有待探索

（ii）计算消耗。一方面，大多数使用GNN骨干的努力往往是内存效率低下的，因为构建和学习全局文档-字图上的会消耗大量的内存。另一方面，强制访问测试文件的培训使这些方法本质上是跨换成muti头+转换器（预训练）。这意味着，当新数据到达时，我们必须从头开始重新训练模型，以处理新添加的文档。

因此，有必要设计一种计算效率高的方法来求解基于图的文本分类。

设计新模型

由于传统的GNN模型不能用于超图，为了弥补这一差距，我们提出了一种名为HyperGAT的新模型，它能够捕获每个超图中编码的高阶词交互。同时，其内部的双重注意机制突出了学习高表达性文本表征的关键上下文信息。

三、贡献：

1.提出用文档级超图对文本文档进行建模，从而提高了模型的表达能力，降低了计算消耗。
2.提出了一种基于双注意机制的原则模型HyperGAT来支持文本超图上的表示学习。
3.我们在多个基准数据集上进行了大量的实验，以说明HyperGAT在文本分类任务上优于其他最先进的方法。

四、方法

在本节中，我们将介绍一个新的为归纳GNN模型分类开发的家族。通过回顾现有的基于gnn的努力，我们首先总结了它们需要解决的主要局限性。然后，我们将说明如何使用超图来建模文本文档，以实现这些目标。最后，我们提出了一种新的双注意机制和归纳文本分类的HyperGAT模型

4.1用于文本分类的GNN

GNN层定义：

hli是在第l层的节点i的节点表示（我们使用xi作为h0i），Ni是节点i的局部邻居集。AGGR是gnn的聚合函数，有一系列可能的实现

提高了模型的表达能力，降低了计算消耗方法

4.2建立文本超图：

1.定义超图