【论文笔记】Bidirectional LSTM-CRF Models for Sequence Tagging

最新推荐文章于 2023-08-31 22:04:48 发布
最新推荐文章于 2023-08-31 22:04:48 发布
阅读量775 收藏 1
点赞数 2
分类专栏： 论文笔记 知识图谱 文章标签： lstm 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42447107/article/details/120691688
版权

Bidirectional LSTM-CRF Models for Sequence Tagging

论文作者：Zhiheng Huang、Wei Xu 、Kai Yu

单位：百度

论文地址

论文源代码

文章目录

0 摘要

在本篇论文中作者提出了一系列基于LSTM（Long-Short-Term Memory）的模型用于序列标注任务。这些模型包括BI-LSTM，LSTM-CRF，BI-LSTM-CRF。因为具有双向LSTM组件，BI-LSTM-CRF模型可以有效的利用过去和将来的输入特征。因为具有CRF层，BI-LSTM-CRF模型可以句子级别的标签信息。

1 引言

简单介绍了序列标注（Sequence tagging）的概念。

现有的序列标注模型大都基于线性统计学模型，比如隐马尔可夫模型HMM、最大熵马尔可夫模型MEMMS和条件随机场CRF等。

2011年，出现了基于卷积神经网络的模型用于序列标注任务的工作。

2013年，Graves等人提出了双向的循环神经网络来解决语音识别的问题。

在这篇论文中，作者提出了一系列基于神经网络的模型用于序列标注任务。

作者贡献点

  • 系统地比较了上述模型在NLP标注数据集上的性能
  • 该工作是第一个第一个将BI-LSTM-CRF模型应用到NLP基准序列数据集上的。
  • 我们证明了BI-LSTM-CRF模型是具有鲁棒性的，它可以产生准确的标记性能，而无需借助单词嵌入。

2 模型

2.1 LSTM Networks

作者简要介绍了RNN网络。

RNN维持的记忆是基于历史信息，能够使模型通过长距离来预测当前输出。

下面是一个RNN模型用于序列标注的示意图：

在这里插入图片描述

但是RNN是有缺点的，RNN是想把所有的信息都记住，不管是有用的还是没用的。这会导致梯度消失的问题，即通过长距离的传递后，最前面的历史信息会被抹掉。

因此作者又引出了LSTM网络模型。

LSTM（Long Short-Term Memory networks ）模型和RNN模型基本一致，区别在于LSTM将RNN的隐藏层更新单元换成了记忆细胞（memory cell）来选择性的记忆过去的信息。

在这里插入图片描述

在这里插入图片描述

2.2 Bidirectional LSTM Networks

在序列标注任务中，我们应用一个双向的LSTM模型（Graves et al., 2013）来利用过去的和未来的输入特征。对于一个给定的时间，我们应用前向过程去利用过去的输入特征，利用后向过程去利用未来的输入特征。

在这里插入图片描述

细节处理:在数据的开始节点和结束节点要特殊处理。另外可以批量进行提高效率。

2.3 CRF networks

在预测当前标签的任务中有两种利用邻居标签信息的方法。第一种方法(MEMMs)是先为每个时间步预测标签分布，然后用beam-like解码预测最合适的标签；第二种方法(CRF)聚焦在句子级别。CRF的输入输出是直接相连的，这点和LSTM和Bi-LSTM是不同的。

在这里插入图片描述

2.4 LSTM-CRF networks

作者结合一个LSTM网络和一个CRF网络形成了LSTM-CRF模型。

该模型可以高效地利用过去的输入特征（通过一个LSTM层）同时可以高效地利用句子级别的标签信息（通过一个CRF层）。

CRF层由连接连续输出层的线表示。CRF层以状态转移矩阵作为参数。

在这里插入图片描述

2.5 BI-LSTM-CRF networks

作者结合一个双向的LSTM和一个CRF网络形成了BI-LSTM-CRF模型。

此外，在LSTM-CRF模型中，过去的信息和句子级别的标注信息可以被利用；BI-LSTM-CRF可以利用未来的输入特征。

在这里插入图片描述

3 训练

算法

在这里插入图片描述

4 实验

数据

作者分别应用上述模型在PTB数据集进行POS tagging、在CoNLL2000进行chunking、在CoNLL2003进行 NER任务。

特征

作者在三个数据集上提取了三种相同的特征。

分别是拼写特征、上下文特征和单词嵌入。

实验结果

在和Baseline方法如LSTM、BI-LSTM和CRF比较中，作者提出的模型都取得了最佳性能。

在鲁棒性实验中，作者提出的模型仅仅利用word feature就可以取得不错的结果。

在这里插入图片描述

在这里插入图片描述

如是我闻__一时__
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Bidirectional Long ShortTerm Memory (LSTM) Architecture
禅与计算机程序设计艺术
08-16 1839
作者：禅与计算机程序设计艺术 1.简介 文本分类（text classification）是自然语言处理中的一个重要任务。给定一段文字，需要自动地对其进行分类，即将该段文字划入某一类或多类。这一过程是用计算机或机器学习模型实现的，并涉及到对文本表示、文本特征提取、机器学习方法等方面的一些技术。其中，神经
Bidirectional LSTM-CRF Models for Sequence Tagging 论文理解及翻译
weixin_37195726的博客
11-07 2928
Bidirectional LSTM-CRF Models for Sequence Tagging 论文翻译摘要介绍2 模型2.1LSTM网络2.2 双向 LSTM 网络2.3 CRF网络2.5 BI-LSTM-CRF网络训练过程4 实验4.1 数据4.2 特征4.2.1 拼写特征4.2.2 上下文特征4.2.3 词嵌入4.2.4 特征连接技巧4.3 结果4.3.1 与Conv-CRF网络的比较...
双向 LSTM（Bidirectional LSTM）与普通 LSTM 公式过程
weixin_44790306的博客
08-31 2545
双向 LSTM 结构中有两个 LSTM 层，一个从前向后处理序列，另一个从后向前处理序列。在处理序列时，每个时间步的输入会被分别传递给两个 LSTM 层，然后它们的输出会被合并。双向 LSTM（Bidirectional LSTM）与普通 LSTM 有类似的公式过程，但有一些细微的差别。LSTM 是一种循环神经网络（RNN），用于处理序列数据。通过双向 LSTM，我们可以获得更全面的序列信息，有助于提高模型在序列任务中的性能。是前向 LSTM 在第。个时间步的向量表示，个时间步的细胞状态，
TensorFlow实战12：Bidirectional LSTM Classifier
Felaim的博客
04-20 1万+
1.双向递归神经网络简介双向递归神经网络（Bidirectional Recurrent Neural Networks， Bi-RNN）,是由Schuster和Paliwal于1997年首次提出的，和LSTM是在同一年被提出的。Bi-RNN的主要目标是增加RNN可利用的信息。RNN无法利用某个历史输入的未来信息，Bi-RNN则正好相反，它可以同时使用时序数据中某个输入的历史及未来数据。 Bi-R
基于LSTM的多变量多步预测模型
Python中文社区
08-08 2万+
♚作者：沂水寒城，CSDN博客专家，个人研究方向：机器学习、深度学习、NLP、CVBlog:http://yishuihancheng.blog.csdn.net本文主...
Bidirectional LSTM-CRF for Clinical Entity Recognition
10-24
A neural architecture based on bidirectional LSTMs and conditional random fields for clinical entity recognition.
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
07-03
by using combinationof bidirectional LSTM, CNN and CRF.Our system is truly end-to-end, requir-ing no feature engineering or data pre-processing, thus making it applicable toa wide range of sequence ...
Bidirectional-LSTM-with-attention-for-relation-classification
05-15
基于注意力的双向长期短期记忆网络用于关系分类使用卷积递归神经网络的关系提取挑战的深度学习方法（ ）。实验结果楷模测试数据准确性F1分数BiLSTMAtt-softmax（dim：1000） 71.58％ 76.43 BiLSTMAtt排名（dim：1000...
Agreement on Target-Bidirectional LSTMs for Sequence-to-Sequence Learning
06-25
memory networks, are extremely appealing for sequence-tosequence learning tasks. Despite their great success, they typically suffer from a fundamental shortcoming: they are prone to generate ...
Language-Translation-Models-using-Seq2Seq-Bidirectional-LSTM-Word-Embedding
05-05
使用Seq2Seq双向LSTM单词嵌入的语言翻译模型 从英语翻译成法语 楷模 在本节中，使用了4种不同的模型。 模型1是一个简单的LSTM 模型2是具有嵌入功能的LSTM 模型3是具有嵌入功能的双向LSTM 模型4是具有双向LSTM和...
sequence_tagging：命名实体识别（LSTM + CRF）-Tensorflow
02-06
使用Tensorflow命名实体识别 此仓库使用Tensorflow（LSTM + CRF +字符嵌入）实现NER模型。 一流的表现（F1分数在90到91之间）。 查看 任务 给定一个句子，给每个单词加上标签。 经典应用程序是命名实体识别（NER）。 这是一个例子 John lives in New York B-PER O O B-LOC I-LOC 模型 与类似 还有。 在字符嵌入上连接bistm的最终状态，以获得每个单词的基于字符的表示 将此表示形式连接到标准字向量表示形式（此处为Glove） 在每个句子上运行一个bistlm以提取每个单词的上下文表示 用线性
【论文泛读34】用于关系分类的双向长短期记忆网络
scu-liu的博客
03-26 782
贴一下汇总贴：论文阅读记录 论文链接：《Bidirectional Long Short-Term Memory Networks for Relation Classification》 一、摘要 关系分类是一种重要的语义处理，近年来受到了极大的关注。主要的挑战是重要的信息可以出现在句子的任何位置。因此，我们提出双向长短期记忆网络(BLSTM)来用关于所有单词的完整、连续的信息来建模句子。与此同时，我们还使用从词汇资源(如WordNet)或自然语言处理系统(如依赖解析器和命名实体识别器(NER))中获得的
Bidirectional LSTM-CRF Models for Sequence Tagging
sendoh的博客
03-18 1472
文章目录Bidirectional LSTM-CRF Models for Sequence Tagging Bidirectional LSTM-CRF Models for Sequence Tagging
【项目调研+论文阅读】（目录）中文实体识别研究方法综述 day6
qq_41821608的博客
01-21 506
文章目录一、基于词典和规则的方法二、基于统计机器学习的方法1.隐马尔可夫模型（HiddenMarkovMode，HMM）的方法2.基于最大熵（MaxmiumEntropy）的 方 法3.基 于 支 持 向 量 机（SupportVectorMachine，SVM）的方法4.基于条件随机场（ConditionalRandomFields，CRF）的方法5.基于统计中的自增长统计算法的方法三、基于统计与规则结合的方法四、基于深度学习的方法五、近期方法 《中文命名实体识别研究方法综述》李嘉欣 陆军工程大学 一、基
论文笔记|Bidirectional LSTM-CRF Models for Sequence Tagging
u011150266的博客
06-05 743
前言 这篇论文是关于NER的一片经典论文，由百度研究院2015年发表。论文来源 前两篇论文笔记与其说是笔记，更多地却像是在做翻译，最近才开始系统接触NER，便选择了较经典的一篇，基础向。 文章目录摘要正文LSTMCRFLSTM-CRFBiLSTM-CRF实验数据集特征结果总结 摘要 该论文提出了几种基于LSTM的序列标注模型：LSTM，BiLSTM，LSTM-CRF，BiLSTM-CRF。该工作首次将BiLSTM-CRF应用于NLP基准序列标注数据集。 正文 序列标注包括词性标注(POS)、词义组块(chu
双向LSTM NLP序列标志读书笔记
lin370的专栏
10-14 1万+
原论文下载地址：https://arxiv.org/pdf/1508.01991v1论文摘要本文百度出品。使用双向LSTM+CRFs 模型用于NLP序列标注问题（POS、分块、命名实体识别）。作者认为应该是这个模型首次用于该研究领域。模型两个优点，精度高和对词向量的依赖性小 (In addition, it is robust and has less dependence on word embe
双向长短时记忆循环神经网络详解（Bi-directional LSTM RNN）
热门推荐
James Zhang's Blog
07-21 16万+
1. Recurrent Neural Network (RNN)尽管从多层感知器（MLP）到循环神经网络（RNN）的扩展看起来微不足道，但是这对于序列的学习具有深远的意义。循环神经网络（RNN）的使用是用来处理序列数据的。在传统的神经网络中模型中，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题是无能为力的。比如，预测句子的下一个单词是什么，一般需要用到前面的单词
双向 LSTM
aliceyangxi1987的博客
08-11 2万+
本文结构： 为什么用双向 LSTM 什么是双向 LSTM 例子 为什么用双向 LSTM？单向的 RNN，是根据前面的信息推出后面的，但有时候只看前面的词是不够的， 例如，我今天不舒服，我打算__一天。只根据‘不舒服‘，可能推出我打算‘去医院‘，‘睡觉‘，‘请假‘等等，但如果加上后面的‘一天‘，能选择的范围就变小了，‘去医院‘这种就不能选了，而‘请假‘‘休息‘之类的被选择概率就会更大。什么是双向 L
利用Bidirectional LSTM实现数据集MNIST的分类
weixin_41841797的博客
11-21 1018
       双向循环神经网络（Bidirectional Recurrent Neural Networks，Bi-RNN）的核心是把一个普通的单向的RNN拆分成两个方向，一个随着时间序列正向的，一个逆着时间序列反向的。这样当前时间节点的输出就可以同时利用正向、反向两个方向的信息，而不像普通RNN需要等到后面时间节点才可以获取未来时间信息。这两个不同方向的RNN之间不会共用state，它们之间没...
bert-bilstm-crf和bilstm-crf对比
最新发布
06-07
BERT-BiLSTM-CRF（Bidirectional Encoder Representations from Transformers with Bidirectional Long Short-Term Memory and Conditional Random Field）是一种深度学习模型结构，主要用于序列标注任务，如命名实体识别、词性标注等。它是BERT模型（基于Transformer的预训练语言模型）与双向长短期记忆网络（BiLSTM）以及条件随机场（CRF）的结合。 相比之下，BILSTM-CRF（仅使用双向LSTM和CRF）模型则是简化版，它没有预训练的Transformer阶段，直接将单词或字符输入到一个双向LSTM中，LSTM负责捕捉上下文信息，然后输出到一个CRF层进行标签预测，CRF用于考虑整个序列的标签依赖关系，提高整体的标注准确性。 两者的区别在于： 1. **预训练能力**：BERT由于其强大的预训练阶段，能够学习更广泛的通用语言表示，而BILSTM-CRF则依赖于特定任务的训练数据。 2. **计算效率**：BILSTM-CRF由于缺少预训练阶段，可能计算量较小，但对大规模语料库的依赖较高。 3. **性能**：在某些情况下，BERT-BILSTM-CRF可能因为其丰富的上下文信息和预训练表示而表现出更好的性能，特别是在处理复杂的语言理解任务时。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值