基于BERT的中文命名实体识别

Bert-ChineseNER

Introduction

BERT

简要地介绍一下BERT，网上对于BERT的介绍已经满天飞了。BERT是谷歌在2018年提出的一个预训练语言模型，不同于传统的语言模型使用自回归的方式对文本进行语言模型的学习，BERT提出了一种新颖的Mask Language Model，结合谷歌在2017年提出的Transformer网络结构，对文本进行“真正”的双向建模。

Fine-tune

BERT只是一个预训练的语言模型，在各大任务上都刷新了榜单。我们本次实验的任务也是一个序列标注问题，简而言之，就是是基于BERT预训练模型，在中文NER（Named Entity Recognition，命名实体识别）任务上进行fine-tune。

Fine-tune是什么意思，中文译为微调。在transfer learning中，对事先训练好的特征抽取网络，直接拿来用在下游任务上。固定其特征抽取层的网络参数，只在原有的网络上增加少量神经元，做最后的分类任务，而且只更新分类参数。

Results

引入bert之后，可以看到在验证集上的F-1值在训练了16个epoch时就已经达到了94.87，并在测试集上达到了