在NLP中应用GCN的几种构图方法整理

最新推荐文章于 2023-10-08 12:00:00 发布

御风而行Carrie

最新推荐文章于 2023-10-08 12:00:00 发布

阅读量3.2k

点赞数 8

文章标签：自然语言处理人工智能

本文链接：https://blog.csdn.net/carrie_0307/article/details/105327590

版权

GCN 的的兴起为许多NLP问题的解决提供了新的思路。通过句法依赖树构建图结构，基于此通过GCN进行NLP问题的解决已经得到了广泛应用。那么除此之外，还有哪些方法可以用于在文本中建立图结构从而使用GCN呢？

小编整理了如下几篇，分别是通过TF-IDF， PMI、序列关系、词典等信息进行构图的顶会论文，希望能够拓展对GCN的应用思路( ఠൠఠ )ﾉ

本文通过GCN进行文本分类，将 words 和 documents 作为构图中的节点，通过word在document中的TF-IDF值构建 word-document edge, 通过PMI计算word-word edge的权重。

其中， $\#W$ 表示所有划动窗口的数量， $\# W(i)$ 表示所有含有 $word _i$ 划动窗口的数量， $\# W(i,j)$ 表示同时含有 $word _i$ 和 $word _j$ 两个词窗口的数量。其中， PMI值为正，说明语义相关性较高，为负，则说明语义相关性较少甚至没有。

本文构建了三种图进行建模(不考虑virtual graph)，图中的节点由words和documents组成，并通过TF-IDF值构建 word 与 document 之间的边；对于word-word edge，不同的图中有不同的构建方法:

Semantic-based graph: 通过LSTM得到每个word的表示，通过余弦相似性计算两个word间的语义相似性，如果语义相似性达到一定的阈值，则认为两words之间存在语义关系；对于存在语义关系的words, 将通过如下方法计算他们之间的边权值：

论文链接: https://www.aclweb.org/anthology/D19-1396.pdf
每个句子被转化为一个有向图
每个字符被作为图中的一个节点, 在每个lexicon word的第一个和最后一个字符间构建一条边, 每条边代表了潜在的可能存在词语(即lexicon word)的特征
构建一个全局的中继节点，它与图中的每个边和点都相连，用来汇聚所有边和点的信息，从而消除词语之间的边界模糊；
由于全局中继节点的存在，图中任意两个不邻接的节点之间都是彼此的二阶邻居，可以通过两次节点更新来接收彼此的非局部的信息；
另外，对以上的图结构进行转置得到一个所有边都反向后的反向图，将反向图与原图中得到的字符表示进行拼接，作为最终的字符表示；

本文构建了如下三种图:

Containing-Graph(C-Graph):
- 目的: 辅助字符去捕捉对应self-matched lexicon word的语义信息和边界信息
- 点集: 句子中的字符和 lexicon words
- 构图如下:
Transition-Graph(T-Graph)
- 目的: 捕捉字符最近上下文的语义信息
- 点集: 句子中的字符和 lexicon words
- 构图如下: 建立 lexicon words 与字符间和 lexion words间的转移关系图
Lattice-Graph(L-Graph)
- 目的: 融合 lexicon knolwedge, 且将 Lattice 的 LSTM 结构转变为了图结构;
- 点集: 句子中的字符和 lexicon words
- 构图如下:

本文提出，希望通过Gazetteer信息提高NER的性能，因此设计了一种多维图来完成NER任务。这里介绍一下作者的构图方法，具体多维图的设计可参考论文中~

构图方法：
- 节点: 预料中的每个字符作为一个节点；同时，根据 gazetteer 提供的 entity type 信息，引入标识类型的节点, 例如 $PER^1, PER^2,LOC^1,LOC^2$
- 构图: 首先，相邻的字符间构建一条有向边；然后，根据 entity 所匹配的实体，在节点类型点与对应entity的起始字符节点和结尾字符节点间建立连边。例如，根据gazetteers认为由字符 $c_1,c_2$ 组成的张三一词是PER2类型的实体，则构建如下边: $v_{c_1},v_{c_2})$ , $v_{s}^{PER2},v_{c_1})$ , $v_{c_2},v_{e}^{PER2})$ , 其中 $v_{s}^{PER2})$ 和 $v_{e}^{PER2})$ 是表示 $P E R 2$ 起始和终止的节点。