论文笔记：A Survey on Deep Learning for Named Entity Recognition

前言：
因为实习接触到了命名实体识别的问题，因此打算调研一下相关方法。即有了这篇综述的论文《A Survey on Deep Learning for Named Entity Recognition》的阅读笔记。

除此以外：一个比较好的总结。

一、摘要

此文章讲解了4个方面的问题。

• 1、现有的NER资源与工具
• 2、对现有的NER方法根据【输入的分布式表示】、【上下文编码器】、【标签-解码器】进行分类
• 3、介绍了当前最有代表性的深度学习NER方法
• 4、例举了未来NER方向的一些挑战

二、简介

命名实体

作者将命名实体分为了两大类，第一类：通用命名实体（如人、地点）。第二类：特定领域命名实体（如蛋白质，基因）。而该文章聚焦的是英文、第一类命名实体识别任务。

命名实体识别方法

• 基于规则的。
• 非监督学习方法。
• 基于特征的监督学习方法。
• 基于深度学习的方法。

命名实体识别任务种类

• 粗粒度命名实体识别：总的类别比较少，并且每个实体只有一个类别。
• 细粒度命名实体识别：总的类别比较多，并且每个实体可能有多个类别。

资源

• 数据集
  
• 工具
  

三、命名实体识别中的深度学习

输入的分布式表示

• word-level表示：(1) CBOW （2）Skip-Gram框架训练
• Character-level表示：有利于挖掘部分词的信息，比如前缀和后缀，并且有利于处理未在词典中出现的词
• 混合表示：有的文章使用门机制联合word-level和Character-level的表示
• Hybrid Representation：融合一些外部信息，比如是否字母是否大小写，是否是地名等等

编码器

• CNN
• RNN
• 递归神经网络（待了解）
• 神经语言模型
• Deep Transformer

标签解码器

• 感知器+softmax
• 条件随机场
• 循环神经网络
• 指针网络

四、应用深度学习

多任务学习

迁移学习

深度主动学习

深度对抗学习

五、一些有建设性的结论

• NER系统的成功极大依赖与输入特征的选取