双向LSTM NLP序列标注

最新推荐文章于 2024-07-22 21:25:10 发布

KeepTraining

最新推荐文章于 2024-07-22 21:25:10 发布

阅读量2.1k

点赞数 1

文章标签：深度学习

本文链接：https://blog.csdn.net/u014692971/article/details/71514563

版权

Bidirectional LSTM-CRF Models for Sequence Tagging
原论文下载地址：https://arxiv.org/pdf/1508.01991v1

论文摘要

本文百度出品。使用双向LSTM+CRFs 模型用于NLP序列标注问题（POS、分块、命名实体识别）。作者认为应该是这个模型首次用于该研究领域。模型两个优点，精度高和对词向量的依赖性小 (In addition, it is robust and has less dependence on word embedding as compared to previous observations）

研究背景

序列标注是基础性的NLP研究课题，是许多NLP任务的基础。比如搜索引擎使用命名实体识别查询语句中的产品类实体，继而推荐广告。经典的序列标注有HMM、MEMMs和CRFs（Lafferty et al., 2001）三种，其中CRFs的效果最好，可以解决HMM和MEMMs的标签偏置（label bias）问题。后来词向量的研究兴起，Collobert（Collobert et al.201）的C&W词向量也在序列标注一展身手。Collobert 用的是卷积神经网络+CRF。LSTM在语音识别等领域已经有了成功的应用，引文若干。作者在之后的实验中对比了这些模型和自己模型（BI-LSTM-CRF, state of the art）的结果。