HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction

ACL2022-HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction

论文：https://aclanthology.org/2022.findings-acl.202.pdf

代码：https://github.com/MatNLP/HiCLRE

期刊/会议：ACL 2022

摘要

远程监督假设任何包含相同实体对的句子都反映了相同的关系。先前的远程监督关系抽取（DSRE）任务通常独立地关注sentence-level或bag-level去噪技术，忽略了跨级别的显式交互。在本文中，我们提出了一种用于远程监督关系抽取的分层对比学习框架（HiCLRE），以减少有噪声的句子，该框架集成了全局结构信息和局部细粒度交互。具体而言，我们提出了一个三级分层学习框架来与跨级别交互，通过调整现有的多头自注意来生成去噪上下文感知表示，称为Multi-Granularity Recontextualization。同时，还通过基于动态梯度的数据增强策略，即动态梯度对抗性扰动，在特定级别提供伪正样本用于对比学习。实验表明，在各种主流DSRE数据集中，HiCLRE显著优于强基线。

1、简介

远监督关系抽取(DSRE)通过自动生成训练文本样例来解决数据标注开销、稀疏的问题。但是DSRE会引来噪声数据，可能会损失模型的性能。为此多实例学习（MIL）被提出，用于分配”至少一个“正确的关系三元组的bag。

先前的DSRE主要分为：sentence-level和bag-level。sentence-level和bag-level在实体级别上提供了大量的语义信息，如图1所示。不同的bag-level存在语义信息具有很大的差距。

为了克服上述挑战，我们提出了一种用于远程监督关系抽取（HiCLRE）的分层对比学习框架，该框架有助于在特定级别和跨级别内进行语义交互：

（1）Multi-Granularity Recontextualization：为了捕获跨级别的结构信息，我们将多头自注意机制调整为三级粒度，包括entity-level、sentence-level和bag-level。我们将每一层的上下文内容特征分别与注意力机制的输入对齐。通过由其他两个级别聚合的注意力得分，为相应级别挑选作为重新文本化交互语义的精细表示。

（2） 动态梯度对抗性扰动：为了获得更准确的特定水平表示，我们使用基于梯度的对比学习（Hadsell et al，2006；van den Oord et al，2018）来抽取构建的伪正样本的信息，并推送负样本的差异。具体地，我们从两个方面计算了动态扰动，包括任务损失的归一化梯度和上一个和当前轮次之间的时间加权记忆相似性。

本文的主要贡献：

• 我们提出了一种用于DSRE任务的分层对比学习框架（HiCLRE），该框架充分利用了特定级别和跨级别内的语义交互，减少了噪声数据的影响。
• 提出了Multi-Granularity Recontextualization来增强跨级别交互，并且动态梯度对抗性扰动在三个特定级别内学习更好的表示。
• 大量实验表明，我们的模型优于DSRE数据集的强基线，详细分析表明这些模块也是有效的。

2、相关工作

2.1 远监督的关系抽取

可以分为两个类别：人工设计的特征、神经网络表示。

2.2 对比学习

损失函数：NCE，通过概率密度函数区分干净样本和噪声样本。InfoNCE，在NCE的基础上加入手工特征，最大化相似和最小化区别。

数据增强：简单文本处理的数据增强，EDA（同义词替换，随即插入，随即删除），CIL（使用TF-IDF去插入/替换实例中不重要的词，构建正样本）。嵌入处理的数据增强，ConSBRT，SimCSE。外部知识的数据增强，ERICA。

这些数据增强方法都是在数据层面，忽略了模型训练过程中的影响。本文提出的模型能捕捉全局结构信息，在不同层级内进行交互微调。

3、方法

3.1 模型总览

模型的整体结构如图2所示，HiCLRE主要包含两个部分：Multi-Granularity Recontextualization旨在整合跨级别的重要性，以确定在目标级别中应该抽取哪些有价值的表示。Dynamic Gradient Adversarial Perturbation针对特定级别，提出了通过构造伪正样本来增强内部语义的方法。

在HiCLRE中，输入样本是确定的token$S_{ij}=(t_{i1},t_{i2},\dots ,t_{ik})$，$S_{ij}$指的是bag$B_j$中的第$i$个句子。$k$是$S_{ij}$中token的数量，$j$是bag的索引。$e_{i1},e_{i,2}$是句子$S_{ij}$中的实体头和尾。每一个bag中包含$n$个句子$B_j=(S_{1j},S_{2j},\dots ,S_{nj})$。我们的模型的目的是预测包$B_j$的$|r|$中的特定关系$r_j$。$d$指的是预训练语言模型的隐藏层维度。

3.2 分层学习建模

3.2.1 句子表示

具体地说，句子编码器的输入是句子$S_{ij}$及其对应的头部实体$e_{i1}$和尾部实体$e_{i2}$的token序列。文本编码器对每个token的token嵌入、分段嵌入和位置嵌入求和，以实现其输入嵌入，然后计算上下文感知的隐藏表示 H = { h t i 1 , h t i 2 , , … , h e i 1 , … , h e i 2 , … , h t i k } H=\{h_{t_{i1}},h_{t_{i2}},,\ldots,h_{e_{i1}},\ldots,h_{e_{i2}},\ldots,h_{t_{ik}}\} H={hti1​​,hti2​​,,…,hei1​​,…,hei2​​,…,htik​​}：
H = F ( { t i 1 , t i 2 , … , t i k } ) (1) H=\mathcal{F}(\{t_{i1},t_{i2},\ldots,t_{ik} \}) \tag{1} H=F({ti1​,ti2​,…,tik​})(1)
$\mathcal{F}$是预训练语言模型编码器，$H\in {\mathbb{R}}^{k\times d}$。句子的嵌入将用头实体，尾实体和[CLS]标签进行计算。
$$h_{S_{ij}}=\sigma ([h_{e_{i1}}\parallel h_{e_{i2}}\parallel h_{[CLS]}]\cdot W_S)+b_S\text{\hspace{1em}(2)}$$
$\parallel$是连接操作，$W_S\in {\mathbb{R}}^{3d\times d},b_S$分别代表的是权重矩阵和偏置，$\sigma$是非线性激活函数。

3.2.2 bag表示

使用句子级注意力机制来产生合并的Bag表示。$h_{B_j}\in {\mathbb{R}}^d$指的是bag的表示，它将被计算通过句子注意力权重${\alpha }_{ij}$和隐藏表示$h_{S_{ij}}$。
$$h_{B_j}=\sum _{i=1}^n{\alpha }_{ij}{h}_{S_{ij}}\text{\hspace{1em}(3)}$$
为了避免简单地平等对待Bag种的每一句话，选择性注意力机制赋予了减少噪音的重要性。每个权重${\alpha }_{ij}$由一个基于查询的函数生成：
$${\alpha }_{ij}=\frac{\exp (f_{ij})}{{\sum }_n\exp (f_{ij})}\text{\hspace{1em}(4)}$$
$f_{ij}$测量输入句子$S_{ij}$和预测关系$r_j$匹配的程度。
$$f_{ij}=h_{S_{ij}}{\mathbf{A}}_{\mathbf{j}}{\mathbf{r}}_{\mathbf{j}}\text{\hspace{1em}(5)}$$
${\mathbf{A}}_{\mathbf{j}}\in {\mathbb{R}}^{d\times d},{\mathbf{r}}_{\mathbf{j}}\in {\mathbb{R}}^d$分别表示权重对角矩阵和关系$r_j$从关系标签的映射表示。最终bag的关系类型$B_j$将被预测：
$$p(r_j|h_{B_j},\theta )=\frac{\exp (O_r)}{{\sum }_{p=1}^{|r|}\exp (O_p)}\text{\hspace{1em}(6)}$$

$$O_r=\sigma (W_r\cdot h_{B_j})+b_r\text{\hspace{1em}(7)}$$

$W_r\in {\mathbb{R}}^{|r|\times d}$是可训练的变化矩阵，$b_r\in {\mathbb{R}}^{|r|}$是偏置。$\theta$是bag模型的参数。$O_r\in {\mathbb{R}}^{|r|}$是我们模型最后的输出，其联系着所有的关系类型。因此，关系分类目标函数DSRE任务将被定义为：
$$L_{task}=-\sum _{j=1}^{|r|}\log p(r_j|h_{B_j},\theta )\text{\hspace{1em}(8)}$$

3.3 Multi-Granularity Recontextualization

上述分层学习过程忽略了跨级别的显式交互，以细化更好级别的表示。因此，在更新了PLM生成的隐藏表示之后，我们的HiCLRE模型试图对每个级别的增强表示进行重新文本化。这是使用修改的Transformer层（Vaswani et al，2017）实现的，该层在目标层级和其他两个层级的表示之间用多头注意力代替多头自注意力。

多头注意力机制被定义为：
$$Att.(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V\text{\hspace{1em}(9)}$$

$$h_{B_j}^{\prime }=MLP(Att.(h_e,h_{S_{ij}},H_{B_j}))\text{\hspace{1em}(10)}$$

MLP是多层线性函数。

我们将增强的目标级别表示与原始分层隐藏状态连接起来，以获得信息级别的表示：
$$h_{B_{at{t}_j}}=\sigma ([h_{B_j}\parallel h_{B_j}^{\prime }]\cdot W_{att})+b_{att}\text{\hspace{1em}(11)}$$
最后三个层级强化表示$h_{e_{at{t}_j}},h_{S_{at{t}_j}},h_{B_{at{t}_j}}$将取代层级隐藏表示。

3.4 动态梯度对抗性扰动

3.4.1 梯度扰动

持续的梯度扰动$p{t}_{adv}$将从被具有任务损失参数$V$的梯度$g$计算。
$$g_j={▽}_V{L}_{task}(h_{B_j};\theta )\text{\hspace{1em}(12)}$$
$V$是bag的句子表示。我们对实体进行区分，以生成句子级别的梯度扰动和实体级别的token。
$$p{t}_{ad{v}_j}=ϵ\cdot \frac{g_j}{\parallel g_j\parallel }\text{\hspace{1em}(13)}$$
$\parallel g_j\parallel$是来自损失函数的梯度的范数，$\epsilon $是控制扰动程度的超参数。

随着训练轮次的增加，我们使用不同粒度的时序信息来进一步提高内部语义的鲁棒性。具体来说，我们在扰动项上添加了惯性权重信息（Shi和Eberhart，1998），这利用了上一个和当前轮次之间的表示差异。惯性重量信息表示如下：
$$I_w=\frac{T-u}{T}sim(re{p}_{(u)},re{p}_{(u-1)})\text{\hspace{1em}(14)}$$
其中$T$是训练过程的总轮次数，$u$是当前轮次索引。$re{p}_{(u)}$可以分别表示第$u$个轮次的实体、句子或bag表示。rep是按照元素索引的顺序保存语义记忆的嵌入矩阵，在训练过程中从第二个轮次更新。然后，我们将惯性重量信息与bag-level的梯度扰动相结合：
$$p{t}_{ad{v}_j}=ϵ\frac{g_j}{\parallel g_j\parallel }+\frac{T-u}{T}sim(re{p}_{(u)},re{p}_{(u-1)})\text{\hspace{1em}(15)}$$
最后采用InfoNCE损失函数，如下所示：
$${\mathcal{L}}_{\text{bag }}^{\text{info }}=-\log \frac{\exp \left(\cos \left(h_{B_j},h_{B_j}^{\prime }\right)/\tau \right)}{{\sum }_{k=1}^m{1}_{[k\ne j]}\exp \left(\cos \left(h_{B_j},h_{B_{kj}}\right)/\tau \right)}\text{\hspace{1em}(16)}$$

3.5 训练目标

总的训练目标将遵循：
$$L_{total}={\lambda }_1{L}_{en}^{info}+{\lambda }_2{L}_{sen}^{info}+{\lambda }_3{L}_{bag}^{info}+{\lambda }_4{L}_{task}\text{\hspace{1em}(17)}$$
${\lambda }_l$是超参数，其中${\sum }_{l=1}^4{\lambda }_l=1$。

4、实验

6、总结

在本文中，我们提出了HiCLRE，一种用于远程监督关系抽取的分层对比学习框架。HiCLRE的Multi-Granularity Recontextualization模块利用多头自注意机制，在三个层次上传输信息。动态梯度对抗性扰动模块将梯度扰动与惯性记忆信息相结合，为对比学习构建更好的伪正样本。实验表明，在各种DSRE数据集中，HiCLRE对强基线模型的有效性。

最近工作