PDALN: Progressive Domain Adaptation over a Pre-trained Model for Low-Resource Cross-Domain NER

0 Abstract

progressive domain adaptation Knowledge Distillation (KD) approach – PDALN
三个组成部分：（1）自适应数据增强技术，它同时缓解了跨域间隙和标签稀疏性；（2） 多层次领域不变特征，源自多粒度训练MMD（最大平均差异）方法，以实现跨领域的知识转移；（3） 高级KD模式，它逐渐使强大的预训练语言模型能够执行领域自适应。

1 Introduction

现有的方法主要引入单词级或话语级的领域适应，以实现跨领域NER。为了缓解单词水平的差异，先前的研究提出了分布式单词嵌入、标签感知最大平均差异估计和投影学习。关于话语层面的差异，现有的方法引入了多层次的适应层、张量分解和利用外部信息的多任务学习。然而，这些方法需要足够的标记数据，这阻碍了它们在低资源场景下的性能。为了解决标签稀疏性和域转移问题，现有的方法利用外部资源为低资源域生成伪标签。然而，由于噪声，低置信度的标签可能会降低模型的鲁棒性。

PDALAN解决了两种低资源场景下的单词和话语级领域自适应问题：无监督和半监督跨领域NER。我们首先通过跨域锚对来增强混合域训练数据，这缓解了注释目标域的稀疏性。接下来，我们通过从多训练MMD自适应度量中学习的领域不变特征来实现跨领域的知识转移。此外，我们将对比学习、与预先训练的模型相融合，以提取稳健的特征。最后，我们没有在基于MMD的度量下直接对增强自适应数据上的模型进行微调，而是将跨域NER模型集成到序列KD框架中，以学习低容量学生模型。低能力的学生可以避免对有限的注释数据进行过度拟合，因为它逐渐只关心由其连续教师检索的一般跨领域特征，以提高模型对领域不变特征的置信度。

我们的主要贡献总结如下：
•我们提出了一种低资源跨域NER模型PDALN，在没有外部检索辅助的情况下，将多层次领域不变知识从高资源源域转移到最小资源目标域。此外，PDLN可以在零资源和最小资源的情况下执行。

•我们为低资源领域设计了一种自适应数据扩充。此外，我们在自适应数据上提出了一个多粒度的领域自适应度量，以探索单词级和话语级的领域不变特征。我们以渐进的自我训练方式利用对比学习融合的预训练语言模型来增强特征提取。

2 Problem Definition

NER是将标签序列 $Y＝[y_1,\dots ,y_N]$ 分配给具有N个标记的给定句子 $X＝[x_1,\dots ,x_N]$。实体是与实体类型关联的标记 $e=[x_i,\dots x_j]$（1≤i≤j≤N）的跨度。

在无监督的NER域自适应中，源域 {$(X_m^s,Y_m^s)$}${}_{m=1}^{N_s}$，目标域 {$X_m^t$}${}_{m=1}^{N_t}$。源域和目标域分别由概率分布 $P_s$ 和 $P_t$ 来表征。我们建立一个分类器 $F=F(X;\theta )$，该分类器可以使用源监督来最小化目标预测误差。对于低资源跨域NER，它是一种半监督自适应，源域数据 $D_s=${$(X_m^s,Y_m^s)$}${}_{m=1}^{N_s}$，未注释的目标数据 $D^{t_u}=${$X_i^{t_u}$}${}_{i=1}^{N_u}$，以及注释的目标信息 $D^{t_a}=${$X_j^{t_a},Y_j^{t_a})$}${}_{j=1}^{N_a}$。$D^t=D^{t_u}\cup D^{t_a}$是总目标数据。

3 Preliminary

3.1 Base Model

BERT将句子 $X=[x_{CLS},x_1,\dots ,x_N,x_{SEP}]$ 编码为句子表示 $h=[h_{CLS},h_1,\dots ,h_N,h_{SEP}]$。任务目标表示为CRF损失，其中 ${\mathcal{L}}_{crf}=logp(Y|X)$。

其中 $log{\varphi }_n(y_i=j|h_i,\mathbf{V})=exp({\mathbf{V}}_j^T{h}_i)$，$h_i$ 是编码的上下文化单词向量，$\mathbf{V}$ 是权重矩阵。$\mathbf{A}$ 是转移矩阵 ${\varphi }_e$ 的参数。$\mathbf{Z}(\cdot )$ 是归一化常数。

3.2 Maximum Mean Discrepancy (MMD) Measurement

MMD是在测量跨域分布 $(P_s,P_t)$ 差异的特定函数空间 $H_k$ 中定义的。$H_k$ 是具有特征核k的 Reproducing Kernel Hilbert Space（RKHS）。MMD的平方公式 $d_k^2(P_s,P_t)$ 定义为：

其中 $\phi :X\to H_k$ 最重要的性质是当 $d_k^2(P_s,P_t)=0$ 时，$P_s＝P_t$。与特征图相关联的特征核 $\phi$ 和高斯核 $k(D^s,D^t)$。

为了计算跨域NER中的MMD损失，我们首先计算源/目标样本的BERT表示之间的MMD的平方公式：

其中 $H_s$ 和 $H_t$ 是具有相应数目 $N_s$ 和 $N_t$ 的BERT嵌入 $h_s$ 和 $h_t$ 的集合。

4 The Proposed Model

在本节中，我们介绍了所提出的模型的结构。我们首先介绍领域自适应组件。一方面，我们设计了一种自适应数据增强来解决标签稀疏性问题。另一方面，我们在增强自适应数据上引入了一种多重训练MMD度量来提取域不变特征。图1直观地展示了我们的领域自适应方法如何缓解领域转移。此外，我们利用预训练模型的强大功能来捕捉有表现力的数据特征。我们集成了一个顺序的自我训练策略，以逐步有效地执行我们的领域自适应组件，如图2所示。

4.1 Cross-domain Adaptation

我们通过跨域锚点对来增强混合域数据。这些增强数据被定义为自适应数据，可以缓解数据不足的问题。我们的自适应数据旨在同时缓解单词水平和话语水平上的领域差距。这些自适应数据形成了一个自适应空间，如图1所示，它桥接了两个领域，用于跨领域知识转移。

4.1.1 Adaptive Data Augmentation

我们首先给出了跨域锚点的定义。源域中的实体由标签为 $[y_{i^s}^s,\dots y_{j^s}^s]$ 的 $e^s$ 表示。目标实体为标签为 $[y_{i^t}^t,\dots y_{j^t}^t]$ 的 $e^t$。跨域锚对为 $M_{Anchor}=${$(e^s,e^t),y_{i^s}^s=y_{i^t}^t$}。跨域锚点是来自不同域的两个实体之间的关系。$y_{i^s}^s=y_{i^t}^t$ 表示当两个实体的第一个标签相同时，它们属于相同的实体类型。直观地，锚对通过按NER类型跨域共享单词来解决跨域单词差异。

然后，我们使用跨域锚对 $M_{Anchor}$ 来创建自适应数据 $D^{aug}$。假设我们有 $e^p$，其中p∈{s,t}，$e^p$∈X $p=[x_1^p,\dots ,x_{i^p}^p,\dots x_{j^p}^p,\dots ,x_{|X^p|}^p]$。给定一个锚对 $(e^p,e^q)$∈$M_{Anchor}$，其中q ∈{s，t}，q≠p，我们用 $e^q$ 代替 $X^p$ 中的 $e^p$ 作为增广自适应数据 $X^{p^{\prime }}=[x_1^p,\dots ,x_{i^q}^q,\dots x_{j^q}^q,\dots ,x_{|X^p|}^p]$。最后，我们得到了自适应数据 $D^{aug}$=$X^{p^{\prime }}$。

直觉上，增广自适应句子被视为跨域共享句子模式的混合域增广数据。这种语义或句法相似的句子是自适应数据，可以探索目标域中的未知区域。图1（b）所示的灰色空间表示自适应空间，它由自适应句子组成，如“The Australia firm’s parent company.”和“San Francisco will play three one day internationals.”。这两个句子由跨域锚对（“Australias”，“San Francisco”）扩充，这两个词都被分配给标签“LOC”。当对自适应数据进行模型微调时，模型可以受益于从自适应空间获取的跨域特征，以提高模型在低资源目标域上的可推广性。

4.1.2 Multi-grained MMD for Domain-invariant Features

如上所述，自适应空间函数被视为跨域桥梁。在这一部分中，我们试图加强其领域适应性，并进一步聚合跨领域特征。我们采用领域自适应MMD来收集具有相似单词和句子特征的数据点，如图1（c）所示。由于MMD是计算两个域均值之间差的范数，因此基于MMD的NER目标可以学习判别式和域不变表示。我们提出了多粒度MMD方法来同时缓解单词层面和话语层面的差异。

为了区分单词层面和话语层面的适应，我们提出了单词MMD损失和句子MMD损失，分别用 $L_{MMD}^w$ 和 $L_{MMD}^d$表示。

其中 $H_{CLS}$ 是CLS令牌嵌入的集合。CLS是预先训练的语言模型中标记CLS的语句池输出。单词级MMD损失由相同的标签y∈label={B-X,I-X,O}表示：

其中 ${\mu }_y$ 是相应的系数。$H_y$ 是具有标签y的令牌嵌入的集合。

最后，句子及其表征是领域不变特征，它在 $L_{MMD}^d$和 $L_{MMD}^w$ 的指导下捕获跨领域知识。如图1（c）所示，域不变特征在自适应空间周围收集样本，以帮助对源域和目标域进行自适应。

4.2 Self-training for Low-Resource Domain Adaptation(DA)

4.2.1 Robust Feature Adaptation

考虑到源域和目标域上有限的词汇和噪声数据样本，我们采用对比学习，通过同义词替换和跨度删除等文本增强来提取鲁棒特征。我们在给定的数据集D={(X,Y)}上构造了一个失真的数据集 $D^c=${(X’,Y’)}

其中 $z＝W^T{h}_{CLS}$ 是句子 X 的映射向量。W是一个可训练的参数。$\bar{z}＝W^T{\bar{h}}_{CLS}$ 是 X’ 的映射向量，通过在X上操作同义词替换或跨度删除来扩充。$Z^{neg}$ 是由 $D\cup D^c$ 中除 X 和 X’ 以外的其他句子构造的。τ是一个温度超参数。

4.2.2 Low-Resource Objectives

为了解决低资源场景，我们考虑了零资源和最小资源跨域NER训练设置。我们首先在源域和目标域上执行基本模型，通过多粒度MMD自适应来寻找跨域桥接。无监督跨域NER损失表示为：

其没有任何注释的目标实例但仍然能够通过 $L_{MMD}^d(D^s,D^{t_u})$进行域自适应。

半监督跨域NER目标表示为：

4.2.3 Progressive Joint KD and DA

我们提出了一种渐进的领域自适应，通过顺序师生框架来防止模型在有限的标记数据和增强的自适应数据上过度拟合。学生很容易忽略“有问题”的例子，但学习到的东西概括得很好。因此，KD框架的优点是它逐渐提高了数据的领域自适应置信度。

自适应数据上的跨域NER损失表示为：

在渐进KD框架中，我们分别使用 $f_{{\theta }_{tea}}$ 和 $f_{{\theta }_{stu}}$ 来表示教师和学生模型。假设 $f_{\hat{\theta }}$ 是方程9中目标学习的基本模型，我们将教师模型和学生模型初始化为：${\theta }_{tea}^{(0)}={\theta }_{stu}^{(0)}=\hat{\theta }$。

在第t次迭代时，学生模型损失表示为：

其中X∈$D^{aug}$，包含N个实体。$f_{\cdot ,n}(X)$表示实体n的输出。

更新后的模型为：${\hat{\theta }}_{stu}^{(t)}=argmi{n}_{{\theta }_{stu}}{\mathcal{L}}_{distill}$。

最后，我们对第（t+1）次迭代的师生模型进行了更新，更新方式为：${\theta }_{tea}^{(t+1)}={\theta }_{stu}^{(t+1)}={\hat{\theta }}_{stu}^{(t)}$。

5 Experiments

5.1 Datasets

源域和目标域中的数据集包含相同的四种类型的实体，即PER（个人）、LOC（位置）、ORG（组织）和MISC（杂项）。我们的源域是CoNLL-2003英语NER数据，其中包含用于训练/验证/测试集的15.0K/3.5K/3.7K样本。我们考虑四个目标doamins：（1）SciTech，2K句的新闻；（2） WNUT 2016包含2400条推文（包括3.4k个tokens），具有10种实体类型；（3） Webpage，包括20个网页和783个实体，其中包含从个人、学术到计算机科学会议的各种文件；（4） Wikigold，一组维基百科文章，有40k个tokens。为了使数据集一致，我们将WNUT 2016 NER中的10种类型转换为4种CoNLL03实体类型。

5.2 Baselines

BiLSTM+CRF（Lample et al，2016）利用字符级Bi-LSTM来捕捉形态和正字法特征，利用单词级5446 Bi-LSTMs来整合句子语法特征。最后，考虑到标签的依赖性，模型堆叠了一个CRF层来预测标签。

BERT+CRF用强大的预训练语言模型BERT取代了传统的BiLSTM组件，以获得更多信息和上下文增强的单词表示。

La-DTL（Simpson等人，2020）提出了标签化MMD度量学习来缓解单词分布差异。

DATNet（Zhou et al，2019）提出了一种广义的资源对抗性鉴别器来捕获不同领域的共享特征空间。然后，域共享空间指导NER任务的目标域预测。

JIA2019（Jia et al，2019）将语言模型和NER任务相结合来构建多任务学习结构，然后利用张量分解来学习任务嵌入，以便在这种任务嵌入上进行跨域NER预测。

Multi-Cell（Jia和Zhang，2020）提出了一种在多任务学习策略下用于跨领域NER的多细胞组成LSTM结构。

此外，我们比较了PDALAN的两种变体的评估。我们分别用MT和VAT、平均教师策略和虚拟对抗性训练取代了自我训练阶段的顺序KD框架。

5.3 Training and Implementation Details

我们采用了Adam优化算法，学习率下降到0.00005。我们使用预训练的BERT(BERT-base, cased) ，其中transformer的数量为12，隐藏层大小为768，自注意头的数量为12。每个批次包含32个示例，最大编码长度为128。方程6中的系数 ${\mu }_y$ 为0.25。温度超参数τ=0.05。我们选择100个标记的目标实例和500个标记的源实例来增加1400（1004+5002）大小的自适应数据。每个目标示例操作4次锚词替换为4个增强句，而每个源示例操作2次替换。特别是，由于目标示例不足，我们在网页数据集中以10/100/240作为目标/源/自适应示例。

5.4 Results and Discussion

Domain Adaptation on Unsupervised & Semi-supervised NER

Ablation Study

Evaluation on Entity Type

Parameter Study