论文学习9-Bidirectional LSTM-CRF Models for Sequence Tagging（LSTM，BILSTM,LSTM-CRF,BILSTM-CRF

本篇论文介绍了LSTM网络、BI-LSTM网络、CRF网络、LSTM-CRF网络、BI-LSTM-CRF网络，比较将它们用于自然语言处理的性能与准确率。重点介绍了BI-LSTM-CRF网络。

1.Introduction

• 序列标记
  • 包括词性标记(POS)、
  • 分块标记和
  • 命名实体识别(NER)
• 本文以前
  • 统计模型
    • Hidden Markov Models (HMM),
    • Maximum entropy Markov models (MEMMs) (McCallum et al.,2000), and
    • Conditional Random Fields (CRF)(Lafferty et al.， 2001)。
  • 神经网络
    • 基于卷积网络的模型(Collobert et al.， 2011)
      • Conv-CRF等模型,因为它包含一个卷积网络和CRF层输出(这个词的句子级别loglikelihood (SSL)是用于原始论文)。
      • Conv-CRF模型产生了有前景的结果序列标记任务。
    • 在演讲语言理解社区,
      • 递归神经网络(Mesnil et al ., 2013;Yao et al ., 2014)和
      • 基于卷积网(Xu and Sarikaya, 2013)最近提出的模型。
    • 其他相关工作包括(Graves et al ., 2005;Graves et al ., 2013)提出了一个双向递归神经网络语音识别。
• 贡献
  • 1)系统比较了上述模型在NLP标记数据集上的性能;
  • 2)首次将双向LSTM CRF (B