RNN,LSTM,GRU基本原理的个人理解

最新推荐文章于 2024-08-05 11:15:19 发布
最新推荐文章于 2024-08-05 11:15:19 发布
阅读量1.6w 收藏
点赞数 5
文章标签： RNN LSTM 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38210185/article/details/79376053
版权

记录一下对RNN,LSTM,GRU基本原理（正向过程以及简单的反向过程）的个人理解

RNN

Recurrent Neural Networks，循环神经网络
（注意区别于recursive neural network，递归神经网络）

为了解决DNN存在着无法对时间序列上的变化进行建模的问题（如自然语言处理、语音识别、手写体识别），出现的另一种神经网络结构——循环神经网络RNN。

RNN结构

这里写图片描述

  • 第 t t 层神经元的输入，除了其自身的输入 xt x t ，还包括上一层神经元的隐含层输出 st−1 s t − 1
  • 每一层的参数U,W,V都是共享的
    这里写图片描述
    这里写图片描述
  • 每一层并不一定都得有输入和输出，如对句子进行情感分析是多到一，文本翻译多到多，图片描述一到多

数学描述

（以下开始符号统一）
回忆一下单隐含层的前馈神经网络
输入为 X∈Rn×x X ∈ R n × x （n个维度为x的向量）
隐含层输出为

H=ϕ(XWxh+bh) H = ϕ ( X W x h + b h )

输出层输入 H∈Rn×h H ∈ R n × h
输出为
Y^=softmax(HWhy+by) Y ^ = softmax ( H W h y + b y )

现在对 X X 、 H H 、 Y Y 都加上时序下标
同时引入一个新权重 Whh∈Rh×h W h h ∈ R h × h
得到RNN表达式
Ht=ϕ(XtWxh+Ht−1Whh+bh) H t = ϕ ( X t W x h + H t − 1 W h h + b h )
Y^t=softmax(HtWhy+by) Y ^ t = softmax ( H t W h y + b y )

H0 H 0 通常置零

深层RNN和双向RNN

这里写图片描述
这里写图片描述

通过时间反向传播和随之带来的问题

输入为 xt∈Rx x t ∈ R x
不考虑偏置
隐含层变量为

ht=ϕ(Whxxt+Whhht−1) h t = ϕ ( W h x x t + W h h h t − 1 )

输出层变量为
ot=Wyhht o t = W y h h t

则损失函数为
L=1T∑t=1Tℓ(ot,yt) L = 1 T ∑ t = 1 T ℓ ( o t , y t )

以一个三层为例
这里写图片描述
三个参数更新公式为

Whx=Whx−η∂L∂Whx W h x = W h x − η ∂ L ∂ W h x

Whh=Whh−η∂L∂Whh W h h = W h h − η ∂ L ∂ W h h

Wyh=Wyh−η∂L∂Wyh W y h = W y h − η ∂ L ∂ W y h

明显的
∂L∂ot=∂ℓ(ot,yt)T⋅∂ot ∂ L ∂ o t = ∂ ℓ ( o t , y t ) T ⋅ ∂ o t

根据链式法则
∂L∂Wyh=∑t=1Tprod(∂L∂ot,∂ot∂Wyh)=∑t=1T∂L∂oth⊤t ∂ L ∂ W y h = ∑ t = 1 T prod ( ∂ L ∂ o t , ∂ o t ∂ W y h ) = ∑ t = 1 T ∂ L ∂ o t h t ⊤

先计算目标函数有关最终时刻隐含层变量的梯度
∂L∂hT=prod(∂L∂oT,∂oT∂hT)=W⊤yh∂L∂oT ∂ L ∂ h T = prod ( ∂ L ∂ o T , ∂ o T ∂ h T ) = W y h ⊤ ∂ L ∂ o T

假设 ϕ(x)=x ϕ ( x ) = x （RNN中用激活函数relu还是tanh众说纷纭，有点玄学）

∂L∂ht=prod(∂L∂ht+1,∂ht+1∂ht)+prod(∂L∂ot,∂ot∂ht)=W⊤hh∂L∂ht+1+W⊤yh∂L∂ot ∂ L ∂ h t = prod ( ∂ L ∂ h t + 1 , ∂ h t + 1 ∂ h t ) + prod ( ∂ L ∂ o t , ∂ o t ∂ h t ) = W h h ⊤ ∂ L ∂ h t + 1 + W y h ⊤ ∂ L ∂ o t

通项为
∂L∂ht=∑i=tT(W⊤hh)T−iW⊤yh∂L∂oT+t−i ∂ L ∂ h t = ∑ i = t T ( W h h ⊤ ) T − i W y h ⊤ ∂ L ∂ o T + t − i

注意上式，当每个时序训练数据样本的时序长度T较大或者时刻t较小，目标函数有关隐含层变量梯度较容易出现衰减和爆炸

∂L∂Whx=∑t=1Tprod(∂L∂ht,∂ht∂Whx)=∑t=1T∂L∂htx⊤t ∂ L ∂ W h x = ∑ t = 1 T prod ( ∂ L ∂ h t , ∂ h t ∂ W h x ) = ∑ t = 1 T ∂ L ∂ h t x t ⊤

∂L∂Whh=∑t=1Tprod(∂L∂ht,∂ht∂Whh)=∑t=1T∂L∂hth⊤t−1 ∂ L ∂ W h h = ∑ t = 1 T prod ( ∂ L ∂ h t , ∂ h t ∂ W h h ) = ∑ t = 1 T ∂ L ∂ h t h t − 1 ⊤

梯度裁剪

为了应对梯度爆炸，一个常用的做法是如果梯度特别大，那么就投影到一个比较小的尺度上。 θ θ 为设定的裁剪“阈值”，为标量，若梯度的范数大于此阈值，将梯度缩小，若梯度的范数小于此阈值，梯度不变

g=min(θ∥g∥,1)g g = min ( θ ‖ g ‖ , 1 ) g

LSTM

RNN的隐含层变量梯度可能会出现衰减或爆炸。虽然梯度裁剪可以应对梯度爆炸，但无法解决梯度衰减。因此，给定一个时间序列，例如文本序列，循环神经网络在实际中其实较难捕捉两个时刻距离较大的文本元素（字或词）之间的依赖关系。
LSTM（long short-term memory）由Hochreiter和Schmidhuber在1997年被提出。

LSTM结构

这里两张图先不用细看，先着重记住公式后再回来看

这里写图片描述
这里写图片描述

数学描述

（同上，符号统一）
设隐含状态长度 h h ,t时刻输入 Xt∈Rn×x X t ∈ R n × x （ x x 维）及t−1时刻隐含状态 Ht−1∈Rn×h H t − 1 ∈ R n × h ,
输入门，遗忘门，输出门，候选细胞如下

It=σ(XtWxi+Ht−1Whi+bi) I t = σ ( X t W x i + H t − 1 W h i + b i )

Ft=σ(XtWxf+Ht−1Whf+bf) F t = σ ( X t W x f + H t − 1 W h f + b f )

Ot=σ(XtWxo+Ht−1Who+bo) O t = σ ( X t W x o + H t − 1 W h o + b o )

C~t=tanh(XtWxc+Ht−1Whc+bc) C ~ t = tanh ( X t W x c + H t − 1 W h c + b c )

（思考侯选细胞激活函数的不同）
记忆细胞

Ct=Ft⊙Ct−1+It⊙C~t C t = F t ⊙ C t − 1 + I t ⊙ C ~ t

想象，如果遗忘门一直近似1且输入门一直近似0，过去的细胞将一直通过时间保存并传递至当前时刻
隐含状态
Ht=Ot⊙tanh(Ct) H t = O t ⊙ tanh ( C t )

输出同RNN
Y^=softmax(HWhy+by) Y ^ = softmax ( H W h y + b y )

GRU

由Cho、van Merrienboer、 Bahdanau和Bengio在2014年提出，比LSTM少一个门控，实验结果却相当

GRU结构

这里写图片描述

数学描述

设隐含状态长度 h h ,t时刻输入 Xt∈Rn×x X t ∈ R n × x （ x x 维）及t−1时刻隐含状态 Ht−1∈Rn×h H t − 1 ∈ R n × h ,
重置门，更新门如下

Rt=σ(XtWxr+Ht−1Whr+br) R t = σ ( X t W x r + H t − 1 W h r + b r )

Zt=σ(XtWxz+Ht−1Whz+bz) Z t = σ ( X t W x z + H t − 1 W h z + b z )

候选隐含状态
H~t=tanh(XtWxh+Rt⊙Ht−1Whh+bh) H ~ t = tanh ( X t W x h + R t ⊙ H t − 1 W h h + b h )

隐含状态
Ht=Zt⊙Ht−1+(1−Zt)⊙H~t H t = Z t ⊙ H t − 1 + ( 1 − Z t ) ⊙ H ~ t

输出
Y^=softmax(HWhy+by) Y ^ = softmax ( H W h y + b y )

（无力吐槽csdn了，预览和实际用的不一套渲染，公式丑死）

lily_knight
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
理解LSTM和GRU
每天进步一点
05-11 3223
LSTM GRU
算法面试RNN、LSTM、GRU一文必备
weixin_44625028的博客
01-24 1080
算法面试必看
RNN及其变体（LSTM、GRU）的介绍
Yanir的博客
03-25 2737
先打个岔，区分一下recurrent neural network循环神经网络和recursive neural network递归神经网络。 recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出； recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就
LSTM 原理
weixin_42330675的博客
03-23 9480
lstm原理
神经网络算法 - 一文搞懂RNN（循环神经网络）
最新发布
weixin_53880910的博客
08-05 1316
本文将从RNN解决了什么问题、RNN的基本原理、RNN的优化算法、RNN的应用场景四个方面，带您一文搞懂循环神经网络RNN。
序列召回基础+GRU4Rec论文阅读
qq_51167531的博客
11-20 1196
序列召回基础+GRU4Rec论文阅读
传统序列召回实践：GRU4Rec——Session-Based Recommendations with Recurrent Neural Networks
weixin_46191103的博客
11-20 346
SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS
基于Python进行RNN LSTM GRU测试及数据集试验【100012341】
05-22
使用递归神经网络和其变体(长短期记忆网络LSTM、GRU)在多个数据集(MNIST/FashionMNIST/CIFAR10)上进行训练、测试，比较效果 简单分析不同数据集给参数调整(递归神经网络层数、训练迭代次数)及过拟合现象带来的影响 ...
NASA和CALCE 锂电池数据集基于Pytorch的RNN LSTM GRU 寿命预测源码+使用说明文档.zip
05-21
锂电池的容量数据其实是一个时间序列，MLP 并不能很好地对时序数据进行分析。对时间序列的分析最经典的算法当然要数 RNN、LSTM 和 GRU 了。 故，接下来我会主要采用 RNN、LSTM 和 GRU 这三个序列模型进行寿命预测。
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
RNN LSTM GRU
07-28
LSTM（长短期记忆网络）和GRU（门控循环单元）是RNN中的两种常见的变体，用于解决传统RNN在长序列上的梯度消失和梯度爆炸问题。它们引入了不同的门机制来控制信息的流动和遗忘，从而增强了网络的记忆和表达能力。...
GRU4REC-pytorch:使用PyTorch的GRU4REC的另一种实现
05-06
GRU4REC-PyTorch GRU4REC模型的PyTorch实现。 原始论文： 对原始论文的扩展： 这个代码是基于由Younghun宋（YHS-968），并实现 此版本支持TOP1，BPR，TOP1-max，BPR-max和交叉熵损失。 要求 PyTorch 0.4.1 的Python 3.5 大熊猫 numpy的1.14.5 用法 数据集 RecSys Challenge 2015数据集可从获取 预处理数据 您需要运行preprocessing.py以获得培训数据和测试数据。 在本文中，仅使用训练集，而忽略测试集。 培训集本身分为培训和测试，其中测试分组是最后一天的课程。 数据格式类似于从RecSys Challenge 2015获得的格式： 档名 训练集应命名为recSys15TrainOnly.txt 测试集应命名为recSys15Valid.txt 内
LSTM原理及算法简介
07-11
网上收集整理的关于LSTM循环神经网络的原理及算法简介，
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
推荐模型-序列推荐-2016：GRU4Rec、GRU4RecF、GRU4RecKG
u013250861的博客
11-27 404
推荐模型-序列推荐-2016：GRU4Rec。
RecSys行为序列建模-GRU4Rec
qq_41196438的博客
06-23 2954
推荐系统行为序列建模-GRU4Rec1.模型结构2.优化2.1 SESSION-PARALLEL MINI-BATCHES2.2 SAMPLING ON THE OUTPUT3.Loss 《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》论文基于单次会话session进行推荐。 1.模型结构 整体结构比较简单，通过RNN的堆叠来抽取序列信息 input：单次会话的点击序列 [x1,x2,...xn][x_1, x_2,...x_n
Datawhale组队学习课节2: 传统序列召回实践：GRU4Rec打卡
宇宙哇
11-19 303
论文解决了什么问题？序列推荐场景下用户长期行为不可知的问题这是否是一个新的问题？不是这篇文章要验证什么科学假设？用户的一个会话中访问的条目是具有相关性的，且随时间而变化有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？前人的研究主要集中在矩阵分解方法和相似度算法，归类为序列推荐问题，Philip S. Yu ,Hongzhi Yin论文中提到的解决方案之关键是什么？使用GRU建模时序信息，并且设计了batch-size方法，来解决序列长度分布不均衡的问题。
GRU4Rec
weixin_43951296的博客
11-21 454
GRU4rec
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 2074
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值