前言:
因为实习接触到了命名实体识别的问题,因此打算调研一下相关方法。即有了这篇综述的论文《A Survey on Deep Learning for Named Entity Recognition》的阅读笔记。
除此以外:一个比较好的总结。
文章目录
一、摘要
此文章讲解了4个方面的问题。
- 1、现有的NER资源与工具
- 2、对现有的NER方法根据【输入的分布式表示】、【上下文编码器】、【标签-解码器】进行分类
- 3、介绍了当前最有代表性的深度学习NER方法
- 4、例举了未来NER方向的一些挑战
二、简介
命名实体
作者将命名实体分为了两大类,第一类:通用命名实体(如人、地点)。第二类:特定领域命名实体(如蛋白质,基因)。而该文章聚焦的是英文、第一类命名实体识别任务。
命名实体识别方法
- 基于规则的。
- 非监督学习方法。
- 基于特征的监督学习方法。
- 基于深度学习的方法。
命名实体识别任务种类
- 粗粒度命名实体识别:总的类别比较少,并且每个实体只有一个类别。
- 细粒度命名实体识别:总的类别比较多,并且每个实体可能有多个类别。
资源
- 数据集
- 工具
三、命名实体识别中的深度学习
输入的分布式表示
- word-level表示:(1) CBOW (2)Skip-Gram框架训练
- Character-level表示:有利于挖掘部分词的信息,比如前缀和后缀,并且有利于处理未在词典中出现的词
- 混合表示:有的文章使用门机制联合word-level和Character-level的表示
- Hybrid Representation:融合一些外部信息,比如是否字母是否大小写,是否是地名等等
编码器
- CNN
- RNN
- 递归神经网络(待了解)
- 神经语言模型
- Deep Transformer
标签解码器
- 感知器+softmax
- 条件随机场
- 循环神经网络
- 指针网络
四、应用深度学习
多任务学习
迁移学习
深度主动学习
深度对抗学习
五、一些有建设性的结论
- NER系统的成功极大依赖与输入特征的选取