【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）

最新推荐文章于 2022-10-14 12:11:30 发布
VIP文章 最新推荐文章于 2022-10-14 12:11:30 发布
阅读量626 收藏 1
点赞数
文章标签： rnn nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tobi_Obito/article/details/116202594
版权

前言

最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text Categorization》[1]），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个从最简单的RNN到seq2seq都梳理了一个遍，特此记录。

为了清楚透彻，下面围绕上面这张图来展开。

RNN

先将上图简化为基本的RNN结构：

一目了然，\mathbf{y_0}~\mathbf{y_3}是输入序列，\mathbf{y_4}~\mathbf{y_7}是输出序列（有时我们只用到最后一个时序的输出\mathbf{y_7}，比如后面将要提到的 编码器-解码器 框架中的编码器），h0~h3之间的横向箭头就是状态\mathbf{s}的传递。

Simple-RNN

Simple-RNN非常简单，就是把t时刻的输出\mathbf{output_t}作为t时刻的状态\mathbf{s_t}传递给下一个时刻t+1的状态输入，一句话就是时序间传递的状态就是上一时序的输出。

最低0.47元/天 解锁文章
Tobi_Obito
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
从RNN到Attention到Transformer系列：Encode-Decode(Seq2Seq)代码实现
05-30
​ 介绍从RNN到Attention到Transformer系列中Decode-Encode(Seq2Seq) https://blog.csdn.net/qq_39707285/article/details/124726403
pytorch-sentiment-analysis-classification:情感分析分类的PyTorch教程（RNN，LSTM，Bi-LSTM，LSTM + Attention，CNN）
05-24
情感分析分类 先决条件 安装依赖项 pip install -r requirements.txt 安装Spacy英语数据 python -m spacy download en 框架 火炬 数据集 Cornell MR（电影评论）数据集 实施 RNN LSTM 双LSTM LSTM +注意 有线电视新闻网
NLP—RNN、Seq2Seq和Attention
u013010473的博客
04-19 629
文章目录循环神经网络（Recurrent Neural Network，RNN）最基本的单层神经网络经典的RNN结构（N vs N）RNN变体（N vs 1）RNN变体（1 vs N）序列到序列（Sequence to Sequence，Seq2Seq)注意力机制（Attention）Attention 的优点Attention 的缺点Attention可视化 循环神经网络（Recurrent N...
RNN之seq2seq模型
weixin_42208646的博客
03-09 3474
1.RNN模型概述 RNN大致可以分为4种,输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。 如下图所示： one to one 结构: 仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。one to many 结构:给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。many to one 结构: 给一系列输入得到...
初步了解RNN, Seq2Seq, Attention注意力机制
qq_37534947的博客
05-15 808
文章目录1.经典的RNN结构2.Sequence to Sequence模型3.Embedding4.Seq2Seq训练问题5.Attention注意力机制6.乘法VS加法attention7.Luong Attention(简单了解)8.Self-Attention9.《Attention is all you need》9.1 encoder9.2 Decoder10.mutli-head attention11.代码理解，待补充************ 循环神经网络RNN结构被广泛应用于自然语言处
全面解析RNN,LSTM,Seq2Seq,Attention注意力机制
麦田里的守望者
01-11 2451
原文 本文将会使用大量的图片和公式推导通俗易懂地讲解RNN,LSTM,Seq2Seq和attention注意力机制（结合colah’s blog 和CS583），希望帮助初学者更好掌握且入门，若有已经掌握RNN，LSTM的读者自行跳过阅读即可,更详细的讲解在Seq2Seq,Attention那。 目录 RNN LSTM Seq2Seq 注意力机制 参考 1 RNN（递归神经网络） 我们知道人类并不是从零开始思考东西，就像你读这篇文章的时候，你对每个字的理解都是建立在前几个字上面。你读完每个字后并不是
【Seq2Seq】相关理论基础与RNN的相应变体
qq_44951759的博客
05-07 692
1. 发展历程 Seq2Seq在2014年顶会正式被提出，其中在同一年有两篇文章都用到了序列到序列，编码器解码器的方式实现机器翻译。其中GPU也在2014年被提出。 在2015年，针对Seq2Seq的一些问题，提出了注意力Attention机制，已经逐步开始爆发。 在2017年，谷歌发表了一篇Attention is All you need，将注意力机制推到了顶峰，其中也有学者用Self-Attention来替代cnn和Rnn 2. 基础理解 2.1 基础的神经网络 传统的单层神经网络，就是传入一个输出
rnn.zip_LSTM MATLAB_LSTM-RNN_RNN-LSTM_rnn lstm_rnn matlab
07-15
作为刚开始研究RNN 的小白，可以看RNN和LSTM的ｍａｔｌａｂ程序，本人刚开始学习 ，把找到的资源分享给大家。
Python碳价格时间序列预测（RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn ）
最新发布
09-22
本文采用欧盟碳排放交易体系下的欧盟碳排放配额(EUA)数据。 实验采用在2013年4月15日至2020年3月30日期间使用的相同大小的数据集，包括1797个样本。 前80% 的数据被选为训练集...RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn
NLP RNN 序列 seq2seq 讲解
02-22
NLP RNN 序列 seq2seq 讲解
深度学习-循环神经网络（RNN）、Seq2Seq、注意力机制（Attention）
yiwenbin94的博客
04-10 1906
RNN->Seq2Seq-> Attention 使用前馈神经网络时，对于一个输入得到一个输出，但是这没办法处理一个序列数据输入的情况，例如语音的输入。这时就出现了这样一种模型-循环神经网络，专门用于处理序列数据的神经网络。...
【NLP】完全解析RNN, Seq2Seq, Attention注意力机制
mjiansun的专栏
08-03 442
循环神经网络RNN结构被广泛应用于自然语言处理、机器翻译、语音识别、文字识别等方向。本文主要介绍经典的RNN结构，以及RNN的变种（包括Seq2Seq结构和Attention机制）。希望这篇文章能够帮助初学者更好地入门。.........
有关循环神经网络——RNN、Seq2Seq、LSTM、GRU简单概括式的理解与总结
weixin_44371912的博客
11-06 1692
RNN：循环神经网络。RNN输入为两个向量xt与st-1，分别代表输入向量与之前输入序列所储存的knowlegde。简单而言，RNN适合处理序列问题（当前输入数据与之前输入数据有关），如上下文、文本处理、时序问题，具体如文本翻译、时序建模等等。RNN由于梯度乘性问题，对于过长的序列，前面的序列对后面的序列影响基本为0，由此引入了LSTM。 双向RNN：解决传统RNN的 信息只能由过去知识来获得。很多时候我们的模型要求当前输出并不只被过去的信息所干涉，可能也会被未来一段时间的信息所干涉，由此引入双向RNN。
RNN模型与NLP应用笔记(3)：Simple RNN模型详解及完整代码实现
weixin_45012204的博客
05-08 4901
【Simple RNN模型详解及完整代码实现】这篇文章首先介绍简易RNN模型，我们会以问题导向的方式一步一步对简易RNN模型进行改进。
RNN模型与NLP应用笔记(4)：LSTM模型详解与完整代码实现
weixin_45012204的博客
05-09 6756
RNN模型与NLP应用笔记(04)：LSTM模型详解与完整代码实现：书接上回，本文开始讲解LSTM的基础内容，同时讲解使用Keras实现LSTM的关键代码以及完整实现。同样是参考李沐大佬和王树森教授的相关课程内容。
RNN模型与NLP应用：Simple RNN模型-3
teletubbies的博客
10-14 1349
现在RNN没有以前流行，由于在自然语言处理问题上，RNN已经有点过时了，如果训练数据足够多，RNN训练效果不如Transformer，但是在小规模数据集上，RNN还是非常有用的。机器学习经常用语音、文本等一些时序数据，我们如何对时序数据进行建模？上一次我们把一段文字整体输入一个logistics regression【线性回归】模型，让模型来做二分类，这属于one to one，一个输入对应一个输出模型，全连接神经网络和卷积神经网络都属于one to one模型。
深度学习笔记（四十二）不同类型RNN结构以及语言模型和序列生成
Mr.zwX
01-17 833
一、不同类型的RNN 在序列化问题中，有很多类型，比如：输入输出等长，输入输出不等长，输出为整型值等等。那么就有不同的RNN结构来处理不同的问题，这里参考了一篇文章《The Unreasonable Effectiveness of Recurrent Neural Networks》。 多对多结构（输入长度 = 输出长度） 多对多结构（输入长度 不等于 输出长度） Machine translation 从这里开始，就引入了编码器encoder和解码器decoder，在编码阶段输入，在解码阶段
【NLP】图解从RNN到seq2seq+Attention
Daycym的博客
01-08 832
从RNN到seq2seq+Attention 前言   本篇将从 RNN 的角度出发，一步一步进阶到 seq2seq 以及加了 Attention 的 seq2seq。 宏观上看看什么是seq2seq Seq2Seq 是一个 Encoder-Decoder 结构的神经网络，它的输入是一个序列(Sequence)，输出也是一个序列(Sequence)，因此而得名Seq2Seq。 在 Encoder...
Paper：RNN之《Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列》的翻译和解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-15 8453
利用长短期记忆递归神经网络，通过简单地预测一个数据点来实现长时间的复杂序列生成。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，通过允许网络根据文本序列调整预测，将其扩展到手写合成。由此产生的系统能够生成多种风格的高度逼真的草书。递归神经网络(RNNs)是一类丰富的动态模型，被用于生成音乐[6,4]、文本[30]和动作捕捉数据[29]等领域的序列。通过一步一步地处理真实的数据序列并预测接下来会发生什么，可以训练RNNs来生成序列。假设预测是概率性的，
RNN Encoder-Decoder
06-08
RNN Encoder-Decoder是一种常用的序列到序列（Seq2Seq）学习模型，用于处理输入和输出都是变长序列的问题。它由两个RNN组成：Encoder和Decoder。 Encoder将变长的输入序列转换为固定长度的向量表示，称为上下文向量（context vector），并将其传递给Decoder。Decoder使用该上下文向量和先前的输出，生成输出序列。 在训练期间，模型将目标输出序列的每个标记作为输入馈送给Decoder，并根据每个时刻生成的预测与目标输出之间的差异计算损失。在测试期间，模型使用启发式搜索（heuristic search）或束搜索（beam search）等方法，生成输出序列。 RNN Encoder-Decoder模型可以用于各种任务，例如机器翻译、语音识别、对话生成等。但是，RNN Encoder-Decoder模型在处理长序列时可能会出现梯度消失或梯度爆炸的问题，并且不能很好地处理长期依赖关系。因此，后来的模型如LSTM Encoder-Decoder和Transformer Encoder-Decoder等被提出，以解决这些问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值