Taming Pre-trained Language Models with N-gram Representations for Low-Resource Domain Adaptation

最新推荐文章于 2024-05-18 13:01:50 发布

qq_45949611

最新推荐文章于 2024-05-18 13:01:50 发布

阅读量129

点赞数

分类专栏： cross domain 文章标签：语言模型深度学习机器学习

本文链接：https://blog.csdn.net/qq_45949611/article/details/129856517

版权

cross domain 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

域间隙在很大程度上是由域特定的n-grams引起的。受其启发，我们提出了一种Transformer-based Domain-aware N-gram Adaptor（T-DNA），以有效地学习和合并新领域中不同单词组合的语义表示。通过结合N-gram表示来弥补源词汇和目标词汇之间的领域差距。

1 The T-DNA

我们的方法遵循标准的预训练和微调语言模型，该模型接收句子 $X=t_1t_2····t_i···t_T$ ，其中 $t_i$ 表示第 i 个token。我们的方法的总体架构如图2所示。中间是一个通用的预训练编码器（例如BERT或RoBERTa），在没有任何目标域知识的情况下提供子词级的表示。右侧是提出的T-DNA，以增强骨干预训练编码器，其中在X中基于单词的n-gram是从预先构建的词典L中提取的，并通过n-gram注意力模块表示。左侧是n-gram匹配矩阵以及特定领域表示和通用编码的集成过程。

在这里插入图片描述

1.1 Lexicon Construction and N-gram Extraction

为了更好地表示和合并看不见的和特定于领域的n-gram，我们首先需要找到并提取它们。在这里，我们使用一种无监督的方法，逐点互信息 pointwise mutual information（PMI），通过单词之间的搭配和关联来找到特定领域的单词和短语。

给定一个句子 $X=x_1x_2···x_K$ ，其中有K个单词，对于句子中的任何两个相邻单词（例如 $\bar{x}$ , $\tilde{x}$ ），PMI计算如下：

在这里插入图片描述

其中 $p (x ）$ 是n-gram x的概率。当在相邻的 $\bar{x}$ 和 $\tilde{x}$ 之间检测到高PMI得分时，这表明它们是很好的搭配对，因为它们共现的概率很高，更有可能形成n-gram。相反，如果两个相邻单词的 PMI( $\bar{x}$ , $\tilde{x}$ )小于阈值σ，则在它们之间插入分隔符，即 $X=x_1x_2···\bar{x}/\tilde{x}····x_K$ ，最后那些没有分隔符的连续单词被识别为候选域特定的n-grams。在使用PMI对目标任务的训练集中的每个句子进行分段后，我们可以在候选n语法中进行选择，以获得最终的 n-gram 词典L，其中每个n语法出现的频率至少为 $f$ 。

根据该词典，对于每个带有 T 个标记的训练输入句子 $X=t_1t_2···t_i···t_T$ ，其中 $t_i$ 表示 X 的第 i 个token，我们提取词典中存在的 X 的子串，以形成特定于领域的 n 元序列 $S=s_1s_2,···,s_j,··,s_N$ ，其中 $s_j$ 表示 X 的第 j 个n-gram。同时，可以建立一个n-gram匹配矩阵， $M∈R^{T×N}$ ，以记录提取的域特定 n-gram 集及其相关tokens，其中，对于 $t_i∈s_j$ ， $m_{ij}=1$ ；对于 $t_i∉s_j$ ， $m_{ij}=0$ 。

1.2 Domain-aware Representation

预训练编码器是一种Transformer架构，具有从任何预训练编码器（例如BERT或RoBERTa）初始化的L层、S个自注意头和H个隐藏维度。输入语句通过它为每个输入标记 $x_i$ 生成一个通用的隐藏状态 $h_i$ 。为了获得领域感知的隐藏表示，n-gram适配器网络由具有 l 层、S个自注意头和H个隐藏维度的Transformer编码器实现。首先，域特定的n-gram的嵌入可以通过n-gram嵌入层获得，然后将它们馈送到n-gram编码器中，以通过多头注意机制获得隐藏状态 g 的序列。n-gram编码器能够对所有提取的 n-grams 之间的交互进行建模，并动态加权n-gram以强调真正有用的n-gram，并忽略有噪声的信息。通用表示和领域特定的n-gram表示的组合由以下公式计算：

在这里插入图片描述

其中， $h'_i$ 是所需的域感知表示， $g_{i,k}$ 是根据匹配矩阵 M 得到的第 i 个token和与该token相关联的第 k 个n-gram的隐藏状态。n-gram 编码过程和隐藏状态整合与从底部开始的 l 层的通用编码器一起逐层重复。

1.3 Training Strategies

训练策略采用了两种：微调（FT）和任务自适应预训练（TAPT）。为了进行微调，我们对特殊分类标记[CLS]的隐藏状态进行操作。按照传统的引用，我们只需在模型的顶部添加一个全连接层作为分类器，并通过softmax层获得概率。分类器和整个模型在具有交叉熵损失的目标域中对标记的任务数据进行微调。为了注入无监督的目标领域知识，我们利用（Gururangan et al，2020）中提出的任务自适应预训练，该预训练剥离下游任务训练数据中的标签，并在该未标记数据上训练模型。我们使用掩蔽语言模型（MLM）作为我们的目标，并且不包括 NSP 任务。

注意，我们的模型还支持其他训练策略，如领域自适应预训练。一开始可以在更大的领域语料库（通常超过10GB）上预训练我们的模型，然后进行任务自适应预训练和微调。