LSTM GRU CNN Seq2seq知识点概要

最新推荐文章于 2024-07-31 13:01:45 发布
最新推荐文章于 2024-07-31 13:01:45 发布
阅读量864 收藏 1
点赞数
分类专栏： 深度学习算法 文章标签： cnn rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/promisejia/article/details/88567450
版权

文章目录

1. RNN 循环神经网络

rnn的优点和缺点

优点：

  • 能方便地对建立一个序列化进行建模。
  • 具有短期记忆功能。
    缺点：
  • 由于反向传播，梯度值在经过每个时间步的传播时会呈现指数级的收缩，最终导致梯度弥散问题，这样最前面一层的参数没有被优化。
rnn cell示意图 及 rnn

在这里插入图片描述

2. LSTM 长短时记忆网络

画图和公式

在这里插入图片描述

  • 决定忘记（forget）信息： f t = s i g m o i d [ W f ( h t − 1 , x t ) + b ] ∗ ( C t − 1 ) f_t = sigmoid[W _f(h_t-1,x_t)+b] * (C_{t-1}) ft​=sigmoid[Wf​(ht​−1,xt​)+b]∗(Ct−1​)
  • 确定更新的信息：
    • 第一，sigmoid 层 (“输入门层(input))” 决定候选层中的哪些加入细胞状态: i t = s i g m o i d [ W i ( h t − 1 , x t ) + b i ] i_t = sigmoid[W_i (h_{t-1},x_t)+b_i] it​=sigmoid[Wi​(ht−1​,xt​)+bi​]
    • 然后，一个 tanh 层(侯选层)创建一个新的候选值向量，这是加入细胞状态的候选信息: r t = t a n h ( W r ( h t − 1 , x t ) + b r ) r_t =tanh(W_r(h_{t-1},x_t)+b_r) rt​=tanh(Wr​(ht−1​,xt​)+br​)
  • 更新细胞状态：忘记 + 更新的 C t = C t − 1 ∗ f t + i t ∗ r t C_t = C_{t-1}*f_t + i_t *r_t Ct​=Ct−1​∗ft​+it​∗rt​
  • 输出(output)信息： h t = o t ∗ t a n h ( C t ) h_t =o_t * tanh(C_t) ht​=ot​∗tanh(Ct​) 其中，输出门 o t = s i g m o i d [ W o ( h t − 1 , x t ) + b o ] o_t = sigmoid[W_o (h_t-1,x_t)+b_o] ot​=sigmoid[Wo​(ht​−1,xt​)+bo​]
RNN与LSTM
  • rnn只能进行短期记忆
  • lstm 由于遗忘门和细胞状态的存在，可以选择遗忘或保留某些信息，客服了rnn不能记忆长期信息的缺点。更具体地，LSTM的cell信息是通过输入们控制之后累加的，而rnn是累乘，因此再反向传播的过程中容易梯度弥散。

3. GRU网络

3.1 公式

在这里插入图片描述
更新门： u t = σ ( W u ( h t − 1 , x t ) + b t ) u_t = \sigma(W_u(h_{t-1},x_t)+b_t) ut​=σ(Wu​(ht−1​,xt​)+bt​) 决定了最后要忘记哪些信息以及哪些新信息需要被添加
重置门： r t = σ ( W r ( h t − 1 , x t ) + b r ) r_t = \sigma(W_r(h_{t-1},x_t)+b_r) rt​=σ(Wr​(ht−1​,xt​)+br​) 重置门用于决定遗忘先前信息的程度
tanh: h ^ t = t a n h ( W h ( h t − 1 ∗ r t , x t ) ) \hat{h}_t = tanh(W_h(h_{t-1}*r_t,x_t)) h^t​=tanh(Wh​(ht−1​∗rt​,xt​))
输出： h t = ( 1 − u t ) ∗ h t − 1 + u t ∗ h ^ t h_t = (1-u_t) *h_{t-1} + u_t * \hat{h}_t ht​=(1−ut​)∗ht−1​+ut​∗h^t​

3.2 GRU网络和LSTM网络的比较

gru中有 更新门和重置门 两个门，一个tanh层；而Lstm有遗忘门、输入门和输出门三个门，两个tanh层，在结构上，gru比lstm简单，计算复杂的低，收敛快；
但在效果上不一定，应用实验选择一种好的效果。

4. CNN网络知识

权重参数个数：

卷积层的参数个数只与卷积核的大小和卷积核个数有关，在加上个偏置b参数： k e r n e l s i z e ∗ c o n v n u m + 1 kernel_size * conv_num + 1 kernels​ize∗convn​um+1；注意：池化层权重参数为0；

卷积后隐藏层的size：

o u t s i z e = [ ( i n p u t s i z e − f i l t e r s i z e + 2 ∗ p a d d i n g f l a g ） / s t r i d e ] + 1 out_size = [(input_size - filter_size + 2*padding_flag）/stride] + 1 outs​ize=[(inputs​ize−filters​ize+2∗paddingf​lag）/stride]+1； 配合卷积向下取整，池化向上取整,padding 取0、1、2等；

卷积feature map不变的配置：

stride = 1，kernel = 3 padding = 1 或 kernel = 5， padding = 2

padding的same和valid：

在tensorflow中，same方式会padding 0方式补全； valid会直接drop一些特征。

池化层的作用
  • 聚合和压缩特征，减少运算复杂度
  • 有一定的扛干扰能力，最大池化的特点决定，只选最大那个
卷积的特点/为何用卷积/卷积神经网络的特点
  • 局部感知：卷积提取的特征更多关注局部，然后再更高成将局部信息进行整合
  • 权重共享：减少了运算量
  • 多卷积核：多卷积核减少对事物的偏见
  • 最大池化降维
卷积神经网络常用的激活函数
  • sigmoid和tanh在激活时，-更加关注数据在0中心的细小变化，而忽略数据的极端变化，relu可以关注这些变化；
  • relu：避免梯度弥散，收敛快，求梯度简单，但比较脆弱。
  • 可以使用LRN(通过局部归一化，被激活的神经元抑制相邻神经元，起到增加泛化性的作用),对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
  • bn算法，每一轮更新完数据后都归一化。
dropout

以一定比例裁剪输入

卷积神经网络的优缺点

优点：

  • 无需手动提取特征
  • 结合上文特点答

缺点：

  • 需要大量数据和长时间调参
  • 物理意义不明确
与NN相比，CNN减少参数的步骤有哪些？
  • 最大池化
  • 权值共享
  • 局部感知

5. Seq2Seq网络

也就是编码-解码模型，编码器对输入进行解析，生成语义编码向量，再由语义编码向量作为解码器的输入，得出解码器的输出。

知了不知蝉鸣惊
关注
专栏目录
RNN/LSTM/GRU/seq2seq公式推导
dili8870的博客
03-17 1667
　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN 　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本...
抽象文本摘要Seq2Seq使用GRU
02-12
使用GRU的抽象文本摘要（Seq2Seq） 抽象文本摘要 首先，我们可以将问题形成为单词级别的序列到序列问题（序列预测问题），其中输入序列是长英语语句，而输出是长度较短，含义相同，不同字摘要。 通常，序列到序列学习中的输入序列和输出序列具有不同的长度（例如文本摘要和机器翻译），并且需要整个输入序列才能开始预测目标。 在Keras中，过程如下： A RNN layer (Here, we will use GRU) acts as "Encoder": it processes the input sequence and returns its own internal state. Another RNN layer (GRU) acts as "Decoder": it is trained to predict the next words of the target seq
循环神经网络：RNN、GRU、LSTM、深度循环神经网络、双向循环神经网络、seq2seq
最新发布
weixin_52435934的博客
07-31 1048
LSTM 可以学习只保留相关信息来进行预测，并忘记不相关的数据。简单说，因记忆能力有限，记住重要的，忘记无关紧要的。LSTM通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为，而非需要付出很大代价才能获得的能力！所有RNN都具有一种重复神经网络模块的链式的形式。在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层。激活函数 Tanh 作用在于帮助调节流经网络的值，使得数值始终限制在 -1 和 1 之间。
深度学习之RNN,LSTM,GRU,CNN-GRU,ABLSTM(pytorch实现)
Dog_King_的博客
04-27 2098
RNN模型最重要的贡献就是引入了隐藏层，隐状态存储的都是前一些时刻的相关特征信息，也是隐状态让模型有了记忆的能力。计算公式就类似于线性层。t时刻的H是由t-1时刻的H（也就是记忆的之前的信息），加上Xt（当前时刻的特征）GRU模型和前面的RNN模型很像，包括输入特征、隐藏态、输出。但是又有了改进，主要改进了隐藏态H的计算方法，通过门控制隐状态。这里引进了门，就是数电那种逻辑电路。这里引入了重置门和更新门，都是根据上一个时刻的隐藏态和t时刻的特征X计算得出。GRU还引入了候选隐状态。
基于CNN-GRU的数据回归预测
yuchunyu12的博客
07-22 488
(2) 门控循环单元（GRU）：序列处理：GRU是一种改进的循环神经网络（RNN），能够更好地捕捉长时间依赖关系。基于CNN-GRU的数据回归预测是一种结合卷积神经网络（CNN）和门控循环单元（GRU）的混合模型，用于处理时间序列数据或其他具有时序特征的数据。各位有什么急需的代码，欢迎后台留言~不定时更新科研技巧类推文，可以一起探讨科研，写作，文献，代码等诸多学术问题，我们一起进步。通过结合CNN和GRU的优势，该混合模型可以有效地处理具有时序特征的数据，提供高精度的回归预测结果。MATLAB科研小白。
NLP自然语言处理之RNN--LSTM--GRU--seq2seq--attention--self attetion
weixin_41097516的博客
11-23 827
1、RNN原理和数学公式 """ 执行 # 定义RNN的参数。 X = [1,2] state = [0.0, 0.0] w_cell_state = np.asarray([[0.1, 0.2], [0.3, 0.4]]) w_cell_input = np.asarray([0.5, 0.6]) b_cell = np.asarray([0.1, -0.1]) w_outp...
Seq2seq进阶，双向GRU
landing_guy_的博客
10-18 8819
文章目录主要使用attentionEncoderAttention 一般编码器中得到的向量包含所有的上下文信息， 是高度压缩的信息， 怎么样来避免这种压缩呢？ 这是原来的seq2seq， 当然有些小的改进在此不做介绍了。 主要使用attention attention 向量a， 长度是源向量的长度， ai在0~1之间， 总和为1， 可以得到加权后的向量w 在解码的每个时间步计算一个加权向量， 把它作为解码器和线性层的输入来进行预测 Encoder 使用双向GRU构建编码器 此时output的大
torch-seq2seq-attention, GRU递归和注意的seq2seq机器翻译的Torch 实现.zip
09-17
torch-seq2seq-attention, GRU递归和注意的seq2seq机器翻译的Torch 实现 torch-seq2seq-attention这是对神经机器翻译的一个轻微的修改，通过联合学习来调整和翻译。 模型这里模型基于 torch-seq2seq 。 模型中，递归编码器输出末端( 代表整个句子)的单个矢量，解码器从那
深度学习（自然语言处理）Seq2Seq学习笔记（采用GRU且进行信息压缩）（二）
忆_恒心的博客
09-29 1456
在上一个模型，我们的解码器与编码采用的都是多层的RNN，在多层的RNN我们可以使用dropout进行处理，且我们采用LSTM返回每个训练的cell，但是由于多层的RNN且线性层的设计导致了信息计算量大，没有很好的压缩起来。接下来我们采用GRU 并且我们的Encoder都采用单层RNN进行设计以期望进行信息压缩，优化我们的Seq2Seq。
基于seq2seq的聊天系统，使用LSTM/GRU+注意力机制 使用框架pytorch
04-22
- `model.py`：定义seq2seq模型，包括LSTM或GRU以及注意力层的实现。 - `train.py`：训练模型的脚本，包括数据加载、模型初始化、优化器设置、训练循环等。 - `evaluate.py`：用于评估模型性能的脚本，可能包括...
rnn的matlab代码实现-seq2seq-attention:seq2seq-注意
05-24
rnn的matlab代码实现seq2seq-注意 介绍 该代码实现了RNN / LSTM / GRU seq2seq和seq2seq +注意模型，用于单词级的训练和采样。 您可以在Bot，自动文本摘要，机器翻译，问题解答系统等中应用它。在这里，我们向您展示...
基于python的知识库的问答seq2seq模型代码实现
03-25
在本项目中，我们将深入探讨如何使用Python编程语言来实现一个基于知识库的问答系统，该系统基于Seq2Seq（Sequence to Sequence）模型。Seq2Seq模型最初在机器翻译任务中取得了显著成果，后来也被广泛应用于对话系统...
序列模型懒人简介（RNN、Seq2Seq、LSTM、GRU、Transformer）
weixin_44371912的博客
09-14 1628
点关注不迷路哦!点关注不迷路哦!点关注不迷路哦! RNN主要用于处理序列数据。RNN采用循环的结构，每个单元的输出与当前输入和之前的隐状态向量有关，每个单元输出一个预测值和传递到下一个单元的隐状态向量。很容易发现RNN有以下问题：1、输入与输出长度相同；2、不适合解决长期依赖。 Seq2Seq结构，采取了两个RNN结构，一个作为解码器encoder，一个作为编码器decoder。解码器将序列数据转化为上下文向量，编码器解析这个向量，当输出为停止符时结束。显然，Seq2Seq的提出是为了适应输入输出长度不同
基于Seq2Seq的GRU时间序列预测Python程序
黑科技小土豆的博客
02-21 752
基于Sequence-2-Sequence，Encoder-Decoder（编码-解码）的GRU预测模型
有关循环神经网络——RNN、Seq2Seq、LSTM、GRU简单概括式的理解与总结
weixin_44371912的博客
11-06 1741
RNN：循环神经网络。RNN输入为两个向量xt与st-1，分别代表输入向量与之前输入序列所储存的knowlegde。简单而言，RNN适合处理序列问题（当前输入数据与之前输入数据有关），如上下文、文本处理、时序问题，具体如文本翻译、时序建模等等。RNN由于梯度乘性问题，对于过长的序列，前面的序列对后面的序列影响基本为0，由此引入了LSTM。 双向RNN：解决传统RNN的 信息只能由过去知识来获得。很多时候我们的模型要求当前输出并不只被过去的信息所干涉，可能也会被未来一段时间的信息所干涉，由此引入双向RNN。
NLP入门（三）：seq2seq之GRU对齐文本和机器翻译
WYXHAHAHA123的博客
03-31 3104
首先来回顾之前用到的两种seq2seq模型（sequence to sequence） （1）和（2）编码器结构完全相同，只不过（1）使用的是单向LSTM，（2）使用的是单向的GRU，二者的重要区别在于decoder部分。看RNN的输入，要看它左边的箭头（time step时间节点）和下面的箭头（与RNN的层数相关）。 注意：编码器中时间节点t的hidden state用h(t)表示，...
seq2seq模型详解及对比（CNN，RNN，Transformer）
DongxueB的博客
06-07 1600
seq2seq序列模型
GRU简述
龙雪的博客
09-16 3154
GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
GRU 的总结
热门推荐
u011412768的博客
08-19 1万+
书接LSTM的介绍（LSTM的总结），这一节来介绍GRU。GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 从LSTM的介绍可以知道，一个时间 t 要计算的很多，三个门/权重向量 z，完了还要计算两种信息：全局的和局部的，计算量非常大。基于此，诞生了GRU，它跟LSTM有相当的...
写一段文字介绍RNN、LSTM、GRU和seq2seq的关系和区别
05-23
RNN（Recurrent Neural Network）是一种能够处理序列数据的神经网络模型，它能够将当前时刻的输入与前一时刻的状态结合起来，进行信息的传递和处理。但是，传统的RNN存在着梯度消失和梯度爆炸等问题，导致难以处理长序列数据。 为了解决这些问题，LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）被提出。这两种模型都具有门控机制，能够有效地控制信息的流动和遗忘，从而更好地捕捉长序列中的关系。 seq2seq（Sequence-to-Sequence）模型则是一种基于编码器-解码器架构的模型，常用于处理序列到序列的任务，如机器翻译、对话生成等。其中，编码器将输入序列映射为一个向量，解码器将这个向量作为输入进行解码，生成输出序列。 总体而言，RNN、LSTM、GRU和seq2seq都是处理序列数据的常用模型，它们之间的主要区别在于模型结构和所解决的任务不同。其中，LSTM和GRU是对RNN的改进，增加了门控机制；而seq2seq则是一种基于编码器-解码器架构的模型，能够处理序列到序列的任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值