双向lstm_基于双向LSTM-CNNs-CRF的端到端序列标注

最新推荐文章于 2023-11-17 10:10:14 发布
最新推荐文章于 2023-11-17 10:10:14 发布
阅读量954 收藏 1
点赞数 1
文章标签： 双向lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39673947/article/details/111390047
版权
论文标题《End2End Sequence Labeling via Bi-directional LSTM-CNNs-CRF》

论文摘要

目前，最好的序列标注系统都需要用到领域知识，比如人工设计的特征以及数据预处理等。该论文中，引入了Bi-directional LSTM-CNNs-CRF的神经网络架构，并利用单词及字符级别的表示信息。论文中提出的系统是一种真正端到端的，不基于特征工程和数据预处理的系统，从而使得该方法在序列标注任务中具有广泛的应用。

论文作者在Penn Treebank WSJ corpus语料上测试了POS任务，在CoNLL 2003 corpus语料上测试了NER任务，分别取得了97.55%的准确率和91.21%的F1值。

论文引言

POS和NER是语言序列标注任务中典型任务。常用的方法有两类，其一是基于统计学习的方法，代表性的是HMM和CRF，这种方法通常需要人工设计特征，并利用任务相关的资源；其二是基于表示学习的方法，但基于表示学习的方法通常只是被用来作为数据增强。

该论文中提出的针对序列标注任务的神经网络架构，是一种真正的端到端的，无需特征工程、任务资源、数据预处理的方法。利用CNN抽取字符级别的信息形成字符级别的表示向量；将单词和字符的表示送入双向LSTM，用于提取单词在上下文环境中的信息；最后，将LSTM的输出送入序列化的CRF层，抽取句子的序列标注能力。作者在Penn Treebank WSJ corpus语料上测试了POS任务，在CoNLL 2003 corpus语料上测试了NER任务，分别取得了97.55%的准确率和91.21%的F1值。

神经网络结构

（1） CNN用于抽取字符级别的表示

在先前的研究工作中发现，CNN可以有效抽取单词字符的形态学特征（如单词的前缀、后缀等）形成字符级别的表示特征。网络结构如下图所示，需要注意的是虚线表示Dropout操作。

d025f9772414b5c91af1f51496f3f188.png

（2） 双向LSTM

总体来说，使用双向LSTM充分利用单词前面和后面的上下文信息，捕获句子随时间的演化信息。注：LSTM在很大程度上缓解了梯度消失、梯度放大问题，从而可以捕获远程的依赖关系。

aca901677627ea4b1241a766edcd5b3d.png

（3） CRF

引入CRF的原因在于，CRF建模了序列隐变量间的约束关系。例如，POS任务中形容词后面更有可能接名词而非动词；NER任务中，I-ORG后面不能接I-PER。很明显，CRF的隐藏层比LSTM提供了更多的信息。具体参见论文原文。

4376f37f835d1882c945a20ae8fe717b.png

模型的训练目标为最大化条件概率，如下所示。

ab5ad3e0f6d25e24f6f7d2e4544f275c.png

（4） BLSTM-CNNs-CRF

网络具体结构，如下所示。系统输入为单词的Embedding和字符的Embedding（利用CNN提取）；将单词Embedding和字符Embedding拼接后送入Bi-LSTM，抽取时间序列特征；将Bi-LSTM输出送入CRF提取序列标注。

e5df8a00e319e09cea618c1104a2aeb2.png

神经网络训练

（1） 参数初始化

a） Word Embedding

分别使用了GloVe、Senna-50、Google's Word2Vec-300，实验表明GloVe的效果最好。

b） Character Embeddings

使用一致性采样，进行初始化。

48d3daca04804ce7e5177241309ba5bf.png

c） Weight Matrices and Bias Vectors

使用一致性采样，具体参见论文原文。

14cf7d8b5d3619e4257291a7dfea9380.png

（2）优化算法

论文中采用等式SGD，同时作者指出其它的优化算法，如Adam、RMSProp，在效果方面与SGD没有本质上的区别。

a） Early Stopping （早停）

利用早停方法，基于验证集取效果最好的那组参数。

b） Fine Tuning

根据序列标注任务的反馈信息，对Embedding进行优化。

c） Dropout Training

为了避免过拟合，采用Drop方法（数学上/效果上与正则化结果一致）提高系统的鲁棒性。

值得注意的是，作者指出Dropout显著提高了系统的结果。

（3）超参数优化

略去不表。

实验结果

（1） 主要结果

从下图中可以看到：BiLSTM比BiRNN效果更好；BiLSMT+CNN因为引入了字符级的特征，效果比单纯的BiLSTM效果更好；BiLSMT+CNN+CRF的效果最好，说明CRF的隐藏层确实提供了更多有用的信息。

21c336b59c34d1533c6e048b0fc1d2e5.png

（2） 与前人工作的比对

a） POS

如下图，效果有所提升。

ee8d6976f821e6455a484430755e549c.png

b） NER

这里需要注意的是百度2015的论文（Huang et al.），这篇论文首次提出利用BiLSTM+CRF实现序列标注，在当时取得了很大的进步，值得大家关注！

0bc11f57662a061d717945b4edf52b30.png

c） Word Embedding的影响

从下图中可以发现：1、GloVe的效果最好；2、NER比POS对预训练词向量的好坏更具有依赖性；同时，作者猜测Word2Vec表现不佳的原因在于，Word2Vec在训练过程中对单词的大小写敏感，而且排除了很多常见的标点符号和数字，但这篇论文中没有进行数据预处理过程，所以造成了Word2Vec单词匹配

f421801c10d71f33058ec2cef8e2171b.png

d） Dropout的影响

Dropout显著提升了输出结果！

Dropout本质上是对系统进行了正则化！

801b35281802c6dad2b44d63ab5af43c.png

e） OOV Error Analysis

这里主要是分析了在训练集、预训练词向量中未登录词对结果的影响。

c7059d977ec2f143956401cf4e54c7e9.png

实验结果如下所示，从OOBV的结果中可以发现，CRF对于未在训练集和预训练词向量中出现的单词具有更好的预测结果！

4906faed16341cbe7e8244e1dac85ce9.png

相关工作

略去不表，见论文原文。

总结与展望

略去不表，见论文原文。

weixin_39673947
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通过双向LSTM-CNNs-CRF进行端到端序列标记：教程：通过双向LSTM-CNNs-CRF进行端到端序列标记的教程
02-03
通过双向LSTM-CNNs-CRF进行端到端序列标记：教程：通过双向LSTM-CNNs-CRF进行端到端序列标记的教程
双向lstm_[论文阅读] ELMo - 基于LSTM的双向语言模型
weixin_39770592的博客
12-17 988
标题：Deep contextualized word representations 作者：Matthew E. Peters†, Mark Neumann†, Mohit Iyyer†, Matt Gardner†,Christopher Clark∗, Kenton Lee∗, Luke Zettlemoyer†∗单位：UW会议：NAACL-2018链接：Deep contextualize...
lstm模型_用于序列标注的双向LSTM-CRF模型Summary
weixin_39524574的博客
12-04 699
一.摘要本文中，我们介绍了序列标注上各种基于LSTM的模型，LSTM模型、双向LSTM模型、LSTM+CRF、BiLSTM+CRF。我们的工作是第一个在序列标注数据集上使用BiLSTM+CRF模型。BiLSTM-CRF模型通过双向LSTM有效地捕捉到了输入的过去和未来特征。它也可以通过CRF层使用到句子级的标注信息。BiLSTM-CRF在POS、分块、NER数据集上都取得了很好的效果。另外，与之前...
LSTM模型、双向LSTM模型以及模型输入输出的理解
weixin_43589681的博客
12-25 1万+
#Tensorflow中实现双向RNNs 在tensorflow中已经提供了双向RNNs的接口，使用**tf.contrib.rnn.bidirectional_dynamic_rnn()**这个函数，就可以很方便的构建双向RNN网络。 def bidirectional_dynamic_rnn( cell_fw, # 前向RNN cell_bw, # 后向RNN inputs, # 输入 s...
双向 LSTM（Bidirectional LSTM）与普通 LSTM 公式过程
xifenglie123321的博客
09-04 682
根据输入门和当前输入计算新的候选内存细胞状态： 候选c_t = tanh(W_xc * x_t + W_hc * h_{t-1} + b_c)输入门： i_t = sigmoid(W_xi * x_t + W_hi * h_{t-1} + b_i)遗忘门： f_t = sigmoid(W_xf * x_t + W_hf * h_{t-1} + b_f)输出门： o_t = sigmoid(W_xo * x_t + W_ho * h_{t-1} + b_o)隐藏状态：h_t 和 c_t。
心法利器[4] | tf.keras文本分类小例子
baidu_25854831的博客
10-07 271
【前沿重器】全新栏目，本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。往期回顾前沿重器[1] | 微软小冰-多轮和情...
TPA-LSTM-master_TPALSTM_TPA-LSTM_LSTM_LSTM时间序列_TPA
09-11
时间注意力的LSTM网络用于时间序列预测
NER-LSTM-CNN-Pytorch:通过双向LSTM-CNNs-CRF教程进行端到端序列标签
05-01
通过双向LSTM-CNNs-CRF教程进行端到端序列标签 这是针对ACL'16论文的PyTorch教程 该存储库包括 资料夹 设置说明文件 预训练模型目录（笔记本电脑将根据需要自动将预训练模型下载到此目录中） 作者 安装 最好的...
6.cnn-lstm.py_lstmcnn股票_LSTM时间序列_LSTM_lstm预测_lstm-cnn_
09-29
对金融时间序列的建模，第一列数据为预测项
论文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》的代码实现
07-03
论文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》的代码实现
LSTM-CNNs-CRF.rar
06-04
LSTM-CNNs-CRF模型，论文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》的复现
使用双向 LSTM 神经网络的高效农田管理-研究论文
06-10
作物田间管理一直是农民和农业科学家关注的主要问题之一。 该区域的主要目的是防止农作物受到农药对消费者造成巨大损害。 卷积神经网络在图像处理中表现出显着的性能。 在本文中，深度学习网络用于预测稻田中有害生物的存在。 提出的想法是设计基于混合 CNN 和 RNN 的框架，用于分割和检测有害生物的存在。 作物的高度和色素沉着被用作检测因素。 该系统训练机器对图像进行多样化和分类，并识别作物中的损伤。 在本文中，可以通过从生产环境中系统地收集数据来推导出作物管理行动计划的示范。
双向RNN原始论文
08-07
双向RNN原始论文
[深度学习] PyTorch 实现双向LSTM 情感分析
摩登都市天空---专栏
07-05 2万+
一 前言 情感分析（Sentiment Analysis），也称为情感分类，属于自然语言处理（Natural Language Processing，NLP）领域的一个分支任务，随着互联网的发展而兴起。多数情况下该任务分析一个文本所呈现的信息是正面、负面或者中性，也有一些研究会区分得更细，例如在正负极性中再进行分级，区分不同情感强度. 文本情感分析（Sentiment Analysis）是自...
双层双向长短期记忆神经网络(bi-LSTM)的多输入时间序列回归预测——附代码
不定时分享电力优化、神经网络、数学建模等技术等
02-27 1410
为了充分挖掘电力负荷与多维特征因素的非线性关系，提高负荷预测精度，提出了一种基于随机森林和双向长短期记忆(Bi-LSTM)网络的超短期负荷预测方法。首先，采用滑动时间窗口的方式构建神经网络的输入数据，使其输入前几个时间点的负荷值以预测下一时间点的负荷值，提高网络的精度；其次，构建多层Bi-LSTM 网络，对时间窗口特征的负荷数据进行预测；最后，采用某市真实负荷数据进行仿真分析。结果表明，所提方法与传统预测方法相比，具有更高的预测精度，为精确预测具有多维特征因素的负荷提供参考。
双向长短期记忆网络（Bi-LSTM）
热门推荐
reedci的博客
06-08 4万+
在开始之前，首先区分下均命名为RNN，新手很容易混淆的两大神经网络：循环神经网络（Recurrent Neural Network，RNN）和递归神经网络（Recurssion Neural Network，RNN）。 递归神经网络（RNN）是空间上的展开，处理的是树状结构的信息，模型结构如下： 循环神经网络（RNN）是时间上的展开，擅长处理以时间序列数据作为输入的预测问题, 其原因在于 RNN 的网络结构可以处理时间序列数据之间的相关性。模型结构如图所示，包括输入层 x、隐藏层 h、输出层 o，在隐藏层
猿创征文丨深度学习基于双向LSTM模型完成文本分类任务
君莫笑的博客
09-12 2万+
大家好，我是猿童学，本期猿创征文的第三期，也是最后一期，给大家带来神经网络中的循环神经网络案例，基于双向LSTM模型完成文本分类任务，数据集来自kaggle，对电影评论进行文本分类。电影评论可以蕴含丰富的情感：比如喜欢、讨厌、等等．情感分析（Sentiment Analysis）是为一个文本分类问题，即使用判定给定的一段文本信息表达的情感属于积极情绪，还是消极情绪．本实践使用 IMDB 电影评论数据集，使用双向 LSTM 对电影评论进行情感分析．。
tf.keras.layers.LSTM参数与LSTM模型之前的关系
sslfk的博客
12-15 4044
单层LSTM模型流程图（多层时，利用前一层的每一个h输出态作为当前层的流输入即可）： 不必担心这里的细节。我们会一步一步地剖析 LSTM 解析图。现在，我们先来熟悉一下图中使用的各种元素的图标 在此过程中，有一个是记忆状态： 同样对应的中间输出状态为Ht 接下来，介绍和tf.keras.layers.LSTM中的关系， 1、go_backwards参数，决定输入的序列是正序输入到lstm还是倒序输入到lstm,通过次参数，就可以构造双向lstm 2、return_...
时间序列预测—双向LSTM(Bi-LSTM)
专注基础架构领域
11-17 406
本文展示了使用双向LSTM(Bi-LSTM)进行时间序列预测的全过程，包含详细的注释。整个过程主要包括：数据导入、数据清洗、结构转化、建立Bi-LSTM模型、训练模型（包括动态调整学习率和earlystopping的设置）、预测、结果展示、误差评估等完整的时间序列预测流程。本文使用的数据集在本人上传的资源中，链接为。
BERT-BiLSTM-CRF和BERT-IDCNN-CRF哪个训练快
最新发布
04-09
BERT-BiLSTM-CRF和BERT-IDCNN-CRF都是用于命名实体识别（NER）任务的模型，它们在BERT模型的基础上加入了不同的序列标注层。 BERT-BiLSTM-CRF模型使用了双向长短时记忆网络（BiLSTM）作为特征提取器，将BERT的输出作为输入，并通过BiLSTM对序列进行建模。然后，使用条件随机场（CRF）作为序列标注层，对每个标记进行分类。这种模型结构相对较复杂，训练时间可能会比较长。 BERT-IDCNN-CRF模型则使用了卷积神经网络（CNN）和递归神经网络（RNN）的结合体，即IDCNN（Iterated Dilated Convolutional Neural Network）。IDCNN通过多次迭代的扩张卷积操作来捕捉不同范围的上下文信息。类似于BERT-BiLSTM-CRF，BERT-IDCNN-CRF也使用CRF作为序列标注层。相比于BiLSTM，IDCNN具有并行计算的优势，因此训练速度可能会更快一些。 综上所述，BERT-IDCNN-CRF可能在训练速度上稍微快一些。但是，实际的训练速度还受到多个因素的影响，例如硬件设备、数据集大小和训练参数等。因此，具体的训练速度还需要根据实际情况进行评估。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值