命名实体识别任务中BERT预训练模型的使用

BERT模型的输入由字向量、句向量和位置向量叠加生成，BERT模型通过查询字向量表将中文序列中的字符转换为字向量表示，句子向量用于区分不同的句子，位置向量用于区分句子中不同位置 的 字 符，将三者拼接之后输入transformer中提取文本特征，最终的输出向量作为字符特征向量。以“［ＣＬＳ］头 晕［ＳＥＰ］脑梗死［ＳＥＰ］”为例，用［ＣＬＳ］标识句子的开始位置，用［ＳＥＰ］标识句子的结束位置，Ｅ 表示向量表达，Ｔｒｍ 表示transformer模型。

BERT模型详解1
BERT模型详解2

预训练阶段根据数据集处理得到BERT模型的输入向量—字向量、句向量和位置向量
使用网上下载的BERT预训练模型，比如bert-base-chinese
一：可以对其进行参数微调以适应特定的下游任务。在命名实体识别任务中，需要将BERT模型与BiLSTM和CRF结合起来进行训练，通过反向传播算法优化模型参数，以提高模型在命名实体识别任务上的表现。
二：固定参数，经过BERT得到词向量。