第一篇关于深度学习在命名实体识别（NER）上应用的综述文章

《A Survey on Recent Advances in Named Entity Recognition from Deep Learning models》

这是第一篇关于深度学习在NER上应用的综述文章

 

这篇文章比较注重多语言和多领域的基于深度学习NER的综述

 

1.数据集

     作者列举了目前一些常用的数据集，包括语言类数据和领域类数据。语言类数据就比较广泛，基本各种语言都可以用来做NER任务；领域类数据比较集中在生物和医药类数据，还有社交媒体数据。

2.评估方法

     NER系统的评估方法常常用F score来评估，F1最常用。

 

接下来就是重点对各种模型的综述，作者对NER模型分为四个大类：

• 基于知识
• 无监督和引导
• 特征工程有监督
• 特征下的神经网络

3.方法

3.1 基于知识的NER系统

    基于知识的NER不需要对数据进行标注训练，而是依赖于词典和领域特殊知识。这种方法常常具有较高的准确率，但召回率会比较低。

3.2 无监督和引导

    这些无监督和引导系统往往先加入一些seeds种子标签和一些正字特征进行NER。在这些方法中就会经常考虑使用句法、正字、规则等知识。

3.3 特征工程的有监督

    特征工程的有监督方法主要依赖于机器学习中的方法。常用的方法是HMM、SVM、CRF和一些decision tree 模型。

3.4 特征下的神经网络

    作者利用embedding layer的不同输入形式进行了神经网络的四种划分：

• word level
• character level
• character + word level
• character + word + affix

   这些模型通常会在最后NN输出层套上一个词标注模型，比较常用的就是CRF模型。但总的来说这些模型尝试了各种NN的变种进行NER任务。

 

4 总结

    对于整个综述，作者得出以下几个发现finding：

1. 神经网络模型优于特征工程系统；
2. word + character NN模型优于单独的word 和 character NN模型。
3. 一些有趣的进步是，特征工程融入到NN模型。例如加入词缀在NN模型中。