前言
这篇论文是关于NER的一片经典论文,由百度研究院2015年发表。论文来源
前两篇论文笔记与其说是笔记,更多地却像是在做翻译,最近才开始系统接触NER,便选择了较经典的一篇,基础向。
摘要
该论文提出了几种基于LSTM的序列标注模型:LSTM,BiLSTM,LSTM-CRF,BiLSTM-CRF。该工作首次将BiLSTM-CRF应用于NLP基准序列标注数据集。
正文
序列标注包括词性标注(POS)、词义组块(chunk)和命名实体识别(NER),是一个经典型的自然语言处理任务。
传统的命名实体识别就是一种序列标注任务,每个字符输入对应一个标注,如下面这个例子就包含三个实体
整句则可以被标注为
其中,
PER:即person,人物
ORG:即organization,组织
LOC:即location,地点
MISC:即miscellaneous,杂项
B,I,E,O分别指示开始,中间,结束,其他
LSTM
由上面可以看到,每个输入字符对应一个标记输出,所以用普通的RNN就可以进行该任务,如图
同理LSTM,更善于捕获长期依赖
这里复习下LSTM,LSTM单元的内部结构如下,这里的是未展开的形式
对应的公式
可以看到图上有四个输入 x t x_t xt,其中一个产生新的候选值,三个输入对应三个门, i t , o t , f t i_t,o_t,f_t it,ot,ft分别对应输入门,输出门,遗忘门。
c t c_t ct代表长期记忆,也是新的候选值。例如,由公式可知若 f