具有增强的显式和隐式语义信息的联合实体和关系提取网络（2022）论文笔记

内容

简介

本文认为，现有的联合实体和关系提取网络只关注预训练模型提供的文本表示，而忽略了显式语义信息的引入和隐式语义信息的增强。本文将针对引入显示语义信息和隐式语义信息进行研究。
本文为了充分挖掘隐含语义信息，采用两种不同的 Bi-LSTM 提取并增强实体的隐含语义信息。

模型

Word Representation

Pre-Trained Model

本文采用BERT进行Byte-pair（字节对）编码，即对于“loved ”, “loving”, "loves"等，分解为“lov ”, "ed ", "ing ", and "es "并称其为字词,目的在于减少单词数量。
但是Semantic Role Labeling（SRL语义角色标签） 是针对完整词的，为了融合BERT得到的词嵌入和标签表示，需要将BERT的字词聚合成完整的词，这里采用卷积和最大池化来聚集子词，（s1,s2,…,sl）是xb i 的字词序列，l 是序列长度。
首先，将子序列传递给一维卷积层：

k为卷积核大小，w1 ,b1为权重和偏置。字词嵌入在Maxpooling之后成为词表示向量。

n是输入文本长度，ReLU是激活函数

Semantic Role Labeling Information

语义结构信息与命名实体识别和关系提取任务非常相关。代理、主题、时间和位置等角色信息可以帮助模型提取实体。谓词与其他词的关系信息可以在一定程度上改进关系抽取。
SRL描述其他词与谓词的关系，ARG1 代表主题，ArgM-TMP 是表示动作时机的附加词，O 代表非参数词，V 代表谓词
【SRL 以谓词为中心，为句子中的单词分配标签。由于所关注的谓词不同，因此产生的语义标签序列也不同。为了尽可能地表达句子的语义结构，我们为每个句子选择五个语义标签序列，】（这里没有看很懂，关注谓词不同是因为有多事件触发词还是，每个词对应5 个语义标签，五选一）并分别对它们进行向量化。然后将它们的聚合表示与来自 BERT 的词向量序列连接起来，以获得最终的词向量表示。
一个语义角色标签序列表示：
五个语义角色标签序列通过全连接层聚合：

最终的向量表示：

[;] 是跨行的向量连接。

Named Entity Recognition

命名实体识别主要依赖于实体所在的上下文。除了在词向量表示中引入显式语义信息外，还设计了一种基于 Bi-LSTM 和 Maxpooling 的新型实体表示算法。
首先，将词向量序列 Xw 传入 Bi-LSTM 以构建实体和上下文之间的依赖关系。负责获取实体隐含语义信息的 Bi-LSTM 记为 Bi-LSTMe。

考虑到重叠实体的识别，采用基于跨度的方法来构建候选实体表示。根据任意长度选择来自 Xt = (xt 1, xt 2, …, xt i , …, xt n) 的词向量表示作为候选实体表示。一个长度为 f 的候选实体向量表示：

用 Maxpooling 来获得聚合的实体表示：
将候选实体序列的长度作为影响实体分类的特征之一。根据不同的长度从实体长度表示矩阵中查找实体长度表示。同时，BERT得到的全局表示向量CLS包含丰富的上下文信息，因此CLS也是候选实体分类的影响因素之一。最后，候选实体表示由实体表示向量、候选实体序列长度表示向量和全局语义向量CLS三部分的聚合表示。

et 是实体表示向量，went f 是序列长度为f 的表示向量，c 是CLS

Relation Exteaction

关系抽取的本质基础是实体对表示。此外，关系提取还依赖于​​实体对所在的上下文信息，尤其是本地上下文。
负责获取局部上下文隐含语义信息的 Bi-LSTM 记为 Bi-LSTMr。添加了本地上下文长度表示。局部上下文的长度反映了实体的间距，影响了实体之间关系的判断。实体间隔越小，实体对之间的关​​联程度越大。对于全局上下文信息，我们使用 Bi -LSTMr 获得的最后一个隐藏状态作为全局语义表示。
Bi -LSTMr 增强了上下文表示的隐式语义

本地上下文是从第一个实体的结尾到第二个实体的开头的文本序列。我们通过 Maxpooling 聚合本地上下文表示：

a end 表示第一个实体结尾的下标，b start 表示第二个实体开头的下标。
获取局部上下文长度表示和实体长度表示的方法类似。将实体对表示向量 e a、e b、局部上下文长度表示向量 wc g 和来自 Bi -LSTMr 的最后一个隐藏状态 h 连接起来，形成最终的关系表示向量。

wc g 是局部上下文长度 g 的表示向量，关系抽取中考虑了双向关系的可能性。如果yr a 和yr b 的任何一个值没有达到阈值，则认为实体a和实体b之间没有关系。

消融实验