图神经网络相关论文

一、《BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification 》

这是一篇图神经网络用于方面级情感分类的文章，其中对GCN的结合比较新奇。

1、基于图的方面级情感分类已经证明有很好的效果，特别是在使用预训练模型的情况下。然而，他们忽略了序列特征，并没有充分利用预训练模型。本文提出BERT4GCN，它结合预训练模型中的语法序列特征，和依存图中的句法知识。它使用BERT中间层的输出，和词之间中位置关系去增强GCN，以便对依存图进行更好的编码用于下游分类。

2、基于方面的情感分类（ABSC）是情感分析领域的一项细粒度情感分类任务，旨在识别句子中明确给出的方面的情感极性。 在这种任务中，匹配方面和他们相关的观点表达是至关重要的。之前的研究使用深度学习的方法，并使用不同类型的注意力机制隐含的建模方面和观点表达之间的关系。然而，注意力模型不能很好的利用句子中的句法信息（例如依存图），以更好的将方面和它们的情感极性联系起来，以至于得到的结果不好。为了更好的把方面和情感极性联系起来，句法特征是必须要考虑的。在最近的工作中，把GCN或者GAT作用在依存图中，其中词为节点，语法关系作为边。最近有研究发现BERT可以捕获丰富的语言信息的层次结构，在低层捕获表面特征，在中间层捕获句法特征，在高层捕获语义特征。因此，受此启发，本文充分利用BERT中不同层级的语言信息。

3、首先句子进入BILSTM，然后使用此特征初始化节点表示，然后将多层GCN作用在依存图中。然后结合GCN每一层的节点表示和BERT中间层的表示。BERT4GCN 可以将语法序列特征与基于图的表示融合。 其次，本文使用transformer中的自注意力机制对依存图中的边进行修剪，以解决解析错误的问题，并使依存图更加适应ABSC任务。另外，本文设计了一种方法，可以把位置向量加入到节点的表示中。

4、句子embedding后进入BILSTM，其输出H将会融合BERT的中间层作为第一层GCN的节点表示。本文选BERT的1、5、9、12层的特征作为增强特征G。

 5、由于自注意力机制可以捕获词的长距离依存关系，因此，本文使用BERT的自注意力权重弥补依存图中依存树解析错误的问题，和使依存图更加适合ABSC任务。使用解析工具得到依存树后，把它转为无向图。然后得到注意力权重，是BERT中第i层的注意力权重，其中h是注意力头数，然后在头的维度上进行平均，然后使用这个Aatt（大于或者小于一个阈值）修剪依存图中的边，因此第l层被补充的依存图就为下图，其中A为依存图的邻接矩阵。

 

6、然后将GCN作用在被补充的依存图中，其中输入是融合了BERT的隐藏层和之前的输出层。这里一共有4层GCN，其对应4层BERT的输出。

 7、由于GCN是一个平均的方式聚集邻居的信息，其忽略了位置信息，为了解决这个问题，本文学习了一系列的位置embedding去编码位置信息，在聚集邻居节点的表示之前，本文在节点表示上加入相对位置embedding。具体为:

 二、《Dependency-driven Relation Extraction with Attentive Graph Convolutional Networks 》

此篇文章的主要特点在于使用一个特殊的注意力函数计算邻接矩阵，在计算的时候结合依存树类型信息，节点embedding信息和初始的邻接矩阵，这是在其他使用依存树构建图做关系抽取任务时没有做到的。其次就是三种图（全局图、局部图、全局局部图）。本人感觉比较新鲜的还是注意力函数这一块。

1、依赖树经常用于关系抽取，但是依赖树具有不准确性，并不是其中所有的信息都对关系抽取任务有效果，因此有效的剪枝很有效，但是固定的剪枝策略并不能保证会保留所有有用的上下文信息，去除所有噪音。本文，提出一个依赖驱动的方法用于RE任务，其使用注意力的图卷积神经网络，模型为A-GCN，一个注意力机制被用于辨别不同句子中的不同词语依赖信息的重要程度，考虑到依赖树的类型信息也很重要，本文也将依赖树的类型信息加入模型中。

2、首先使用外部工具得到依赖树，然后使用依赖树构建图，然后对不同的依赖类型赋予不同的边权重，然后使用A-GCN预测关系类别。这样不仅可以通过依赖树辨别上下文信息的重要性，并且利用他，而且也使用了以前研究中被忽略的依赖树类型信息。

3、标准的GCN中，边的权值只有1和0，不能区分出词之间连接的差异性，因此，本文使用注意力机制计算这个矩阵，来表示词之间的不同的依赖连接。另外，标准的GCN和之前的研究中的忽略了依赖类型信息，而这些信息对RE模型很重要。

4、首先，依赖类型用一个类型矩阵T表示，然后对每一个类型进行embedding，得到。然后，使用类型embedding，bert的输出，邻接矩阵进行计算attention，计算出的attention。

 5、然后和bert的输出，类型embedding一起用于GCN。

6、分别得到句子的表示，两个实体的表示，进行拼接，并使用线性变换，最后进行关系分类。

7、本文构建的图包括两种：local connections and the global connections。局部连接为和两个实体直接相连的依赖边，全局连接为两个实体之间最短依赖路径上的所有依赖边，这种情况下，没有和两个实体直接相连的边也包括在内。