它采用从粗到细的策略集成全局上下文信息,同时对目标实体之间的远程交互进行建模,从而获得全面的实体表示。
首先,我们使用全连接卷积网络(DCGCN)在粗层次上整合整个图中的全局上下文信息。
D表示包含N个句子的文档。
图2显示了一个文档级的示例图,对应于一个两句话的文档。该图将文档中的单词视为节点,并通过五类边捕获文档件交互。这些无向边的描述如下。
-
语法依赖边
我们使用spaCy2中的依赖解析器来解析每个句子的语法依赖树。然后,我们在所有有依赖关系的节点对之间添加边。
-
相邻词边
在相邻单词之间添加边可以减少依赖解析器的错误。因此,我们在文档中相邻的所有节点对之间添加边。
-
自环边
-
相邻句子边
为了确保信息能够在句子之间整合,我们在每个相邻的句子对的依赖树根之间添加一条边
-
共指提及边
共引用可以共享从它们各自的上下文中捕获的信息。这可以看作是全局的跨句交互。因此,我们在所有引用同一实体的提到对的第一个单词之间添加边。
我们的模型由一个文本编码模块、一个粗级表示模块、一个细级表示模块和一个分类模块组成。
文本编码模块
该模块的目标是将文档中的每个单词编码为带有文本上下文信息的向量。文本编码模块由嵌入层和上下文编码器组成。
embedding层用的Glove,Bi-GRU是上下文编码器
Coarse-level表示模块
稠密连通图卷积网络(DCGCN)能够捕获丰富的局部和全局上下文信息。
我们采用DCGCN层作为粗级表示模块。DCGCN层被组织成n个块,第k个块有 m k m_k mk