基于BERT Adapter的词汇增强型中文序列标注模型

©原创作者 | 疯狂的Max

论文Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 解读

01 背景与动机

近年来，多项研究致力于将词汇信息融入中文预训练模型中以提升命名实体识别、分词和词性标注等序列标注类任务的效果。

但其中的大多数方法为都是直接在预训练模型中加入浅层的且随机初始化的序列层，其局限性在于不能在BERT模型的底部的层中加入词汇信息，导致BERT的表征能力得不到充分利用。

因此，本文作者提出Lexicon Enhanced BERT (LEBERT) ，该模型在BERT底部的层中加入一个Lexicon Adapter层来融合文本的词汇特征。实验结果表明该模型在序列标注类任务的10个数据集上的表现超越了业界现有的其他模型。

由于中文词汇没有明显的分界，所以中文的序列标注任务相较英文难度更大，虽然预训练模型在序列标注任务上的表现超越了传统的如LSTM，CRF等模型，但由于其仍是基于单个字符的，因此可以很自然的想到在这个基础上引入词汇的信息，更有助于提升模型效果。

目前可以将相关的改进方向分成两类：

一类是通过在character-level的序列编码器上融入词语的信息，这样可以显性的对词汇特征建模，也可以看做是通过改进模型结构来融入离散的结构化的外部知识；

另一类则是将词汇信息融入到预训练模型的embedding中去，而这两类方法是互补的。

最近的研究更多的考虑将词汇特征和BERT结合起来，主要的思想就是把BERT获取到上下文表征和词汇特征融合起来，一起进入一个神经网络的序列标注模型，作者定义为Mode