BP算法和RNN_RNN/LSTM BPTT详细推导以及梯度消失问题分析

最新推荐文章于 2024-04-09 11:56:53 发布
最新推荐文章于 2024-04-09 11:56:53 发布
阅读量289 收藏
点赞数
文章标签： BP算法和RNN 多分类svm的hinge loss公式推导

b36be7ef4a3b052465c5e0ce32b5996d.png

最近面试被问到了LSTM为什么能够解决long-range dependency的问题，回答这个问题实际上需要把BPTT公式写出来，在这篇博文中我们进行了部分推导

习翔宇：RNN Part 3-RNN中的BPTT算法和梯度消失问题​zhuanlan.zhihu.com
9c0f87636325f6691aff20a8184e722e.png

但是不够系统化，本篇博文将完全对RNN的BPTT以及LSTM的BPTT进行推导，并对long-range dependency问题进行分析

1. RNN的BPTT

假设RNN的基本方程如下所示

损失函数定义如下：

对于一个输入序列

，其整体损失函数为

我们接下来分别对

进行求导

首先对

进行求导，这个比较简单

然后对

进行求导

如下公式可知

的计算涉及到
,而
的计算也涉及到
，同样
的计算涉及到
,而
的计算也涉及到
，以此类推，因此需要回溯到t时刻之前的所有时刻，我们需要对公示(6)中的第三项
进行展开，下面我们单独对其进行展开如下所示：

同样的道理，公示(8)中的第一项

的计算如下所示

将其带入到公示(8)中即可得到

这样我们把公式(6)中的第三项就展开了，现在带入公式(6)中即可得到：

按照同样的方式，我们对

进行求导

2. RNN梯度消失分析

在上面的推导中，我们对

部分的推导公式(11),(12)可以看到，在计算
时刻的损失产生的梯度时，必须回溯之前所有时刻
的信息，并且存在连乘项
，根据公式(1)我们可以计算

sigmoid函数的导数大家都很熟悉了，处于

之间，那么会有以下两种情况：
  1. 当
    > 4的时候，那么
    ,此时如果
    距离过大，会导致连乘项过多，产生梯度爆炸，趋近于无穷
  2. 当
    <4的时候，那么
    ,此时如果
    距离过大，会导致连乘项过多，产生梯度消失，趋近于0

因此当输入序列过长的时候，在求取一个比较远的时刻

的梯度时，需要回溯到前面的所有时刻的信息，由于连乘项的存在，导致前面时刻的信息会缺失，这就是RNN中的梯度消失问题，也是所谓的long-range dependency问题(这样划一个约等号会不会太草率？)；

梯度爆炸问题容易解决，例如采用clip的方式即可。但是梯度消失的问题比较难以解决，我们下面介绍LSTM为什么能够缓解梯度消失问题

3. LSTM BPTT推导及梯度消失分析

LSTM的公式如下所示

8378cd8577a8c5e709fde8b4062b9c48.png

其中

可以看作之前RNN中的
,我们将
的计算公式展开如下所示：

那么需要连乘的部分计算可得：

从之前的

变成了sigmoid函数，范围在[0,1]之间，在实际参数更新中，可以通过控制使得其接近于1，因此多次连乘依然不会产生梯度消失，在
距离较大的情况下，依然能够较好的利用
时刻的信息进行梯度计算。

4. 一些思考

本文由两个问题后续进行提升：

  1. LSTM部分的推导并不十分严谨，在RNN BPTT的基础上进行了类比
  2. 梯度消失问题以及long-range dependency问题的定义需要明确，本文进行了约等于，是否准确还有待商榷
weixin_39634438
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RNN介绍及梯度详细推导
ait2018
01-31 5918
RNN梯度详细推导1. RNN的几种常见结构结构一结构二欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流...
机器学习——单层前馈神经网络与BP算法
菜到怀疑人生的博客
12-18 1万+
以下内容均为个人理解，如有错误，欢迎指出 文章目录什么是BP算法什么是人工神经网络M-P神经元模型常用的激活函数以及优缺点sigmoid函数Tanh函数 什么是BP算法 摘自维基百科 反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个...
深度学习～循环神经网络RNN, LSTM
天狼啸月1990的博客
07-02 2225
problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！
[时间序列预测]基于BP、RNN、LSTM、CNN-LSTM算法多特征（多影响因素）用电负荷预测[保姆级手把手教学]
didiaopao的博客
11-08 1万+
利用深度学习算法BP神经网络、LSTM神经网络、CNN-LSTM神经网络进行多特征电力负荷预测的讲解和分析
深度学习原理-----卷积神经网络
didiaopao的博客
09-01 1万+
利用大量的图片来讲解卷积神经网络的原理
RNN.zip_RNN_RNN的BPTT算法_bptt_梯度下降
07-13
在RNN中，由于BPTT涉及整个序列的梯度，梯度下降的实现可能更为复杂，可能需要考虑梯度消失和梯度爆炸的问题。 **RNN的挑战** RNN在处理长序列时面临两个主要挑战： - **梯度消失**：由于权重矩阵的连续乘积，远期...
RNN代码_recurrentnetwork_RNN_RNN神经网络_递归神经网络_
10-01
尽管RNN理论上能够捕获长期依赖，但在实践中，由于“梯度消失”和“梯度爆炸”问题，训练深度RNN变得困难。梯度消失指的是在反向传播过程中，梯度逐渐减小，导致网络无法有效地学习长期依赖。梯度爆炸则是梯度值变得...
Elman_main_基于BPTT算法_elamn神经网络_elman神经网络_Elman_bptt_
10-02
Elman神经网络是一种递归神经网络（RNN）模型，由...此外，现代的变体，如长短期记忆网络（LSTM）和门控循环单元（GRU），在处理更复杂的序列数据时通常表现得更为出色，但它们的基础思想仍然源自Elman网络和BPTT算法。
RNN、LSTM及其变种1
08-03
RNN的一个主要挑战是训练过程中可能出现的梯度消失问题，这使得模型难以捕捉长期依赖。为了解决这个问题，Long Short-Term Memory (LSTM)单元被引入。LSTM通过门控机制（输入门、遗忘门和输出门）控制信息流动，有效...
RNN之BPTT原理1
08-08
梯度爆炸可以通过梯度裁剪来解决，而梯度消失则可以借助LSTM或GRU等更复杂的门控RNN结构来缓解。 **softmax交叉熵损失函数**是多分类任务中常用的损失函数，它结合了softmax函数的归一化输出和交叉熵损失，能够衡量...
深度学习基础：MLP、BP、CNN、RNN
小琳猫的博客
10-16 3234
本篇博客参考《Deep Learning》的第二部分对深度学习的基础知识进行总结，主要包括：前馈神经网络、反向传播算法、卷积神经网络和循环神经网络，以便加深理解和记忆
一文搞懂NLP框架之RNN、LSTM、Transformer结构原理！
最新发布
穿着帆布鞋也能走猫步
04-09 2047
NLP领域中，特征提取可谓是经历了显著的“变迁”与发展。回首过往，RNN曾以其一度引领潮流，如今正如同明日黄花，逐步淡出历史舞台。紧接着，LSTM以展现出强大的生命力，虽已非最前沿，却仍老骥伏枥，若能进一步优化，其潜力不可小觑。而今，Transformer架构如日中天，凭借自注意力机制彻底革新了特征提取的方法，已在NLP诸多任务中发挥着中流砥柱的作用。本文笔者将深入浅出剖析RNN、LSTM以及Transformer的核心结构原理，一起见证算法是怎样做到一浪更比一浪强的。
深度学习（3）之经典神经网络模型整理：神经网络、CNN、RNN、LSTM
yohnyang的博客
04-30 1万+
经典神经网络模型整理：神经网络、CNN、RNN、LSTM CNN模型汇总LeNet5 模型AlexNet 模型VGG模型Inception Net（GoogleNet）模型ResNet （残差网络） RNN模型（循环神经网络）为什么需要RNNRNN结构 LSTM（长短期记忆网络）模型GRU模型计算重置门r~t~和候选状态计算更新门z~t~和当前状态h~t~ 神经网络基础知识 本周主要对于神经网络的相关知识进行了学习，本文先整理神经网络学习中所需的一些基础知识，而..
RNN循环神经网络的参数梯度计算
lzz555517的博客
08-30 839
RNN循环神经网络的参数梯度计算 本博客记录本人学习，如果错误烦请指正哈~ 循环神经网络(Rerrent Neural Network ,RNN)，它对具有序列特性的数据非常有效，它能挖掘数据中的时序信息及语义信息，利用RNN这种能力，使深度学习模型在解决语音识别、语言模型、机器翻译以及时序分析等NLP领域的问题时有所突破。 假设使用全连接网络处理语音识别问题，就会出现什么问题?识别出的输入语音没有上下问联系，而RNN的输入不止和当前时刻输入有关系，和前一刻输入也有关系，其结构图及参数计算如下图 参考：参
RNN的BPTT算法中的梯度消失问题
qq_17478877的博客
07-23 828
参考资料链接：https://zhuanlan.zhihu.com/p/22338087 随时间的反向传播（BPTT） 让我们先迅速回忆一下RNN的基本公式，注意到这里在符号上稍稍做了改变（变成），这只是为了和我参考的一些资料保持一致。 同样把损失值定义为交叉熵损失，如下： 这里，表示时刻正确的词，是我们的预测。通常我们会把整个句子作为一个训练样本，所以总体错误是每一时刻的错误的加和。 ...
深度学习BP算法的推导（附加RNN,LSTM的推导说明）
长虹剑的专栏
12-09 5万+
注：1）这篇文章主要参考Alex Graves的博士论文《Supervised Sequence Labellingwith Recurrent Neural Networks》 详细介绍其关于BP算法的推导过程。 2）论文没有提到过偏差的处理，不过如果能耐心推导出论文给出的公式，那么这将十分简单。 3）由于是结合语音训练的，最后是softmax出来是获得有...
循环神经网络（RNN）与LSTM
weixin_37831273的博客
12-09 1756
一、为什么有BP神经网络，CNN，还要有RNN？ 答：(1)神经网络包括CNN,输入和输出都是相互独立的。但有些任务，后续的输出与之前的内容是相关的。 如：“我是中国人，则我的母语是_?” (2)RNN引入了”记忆”的概念，循环是指它的每个元素都执行相同的任务，但是输出依赖于输入和记忆二、RNN的结构 从左边的图可以看出来，X是输入，O是输出，W执行的是循环的操作，循环的更新。我们可
LSTM简介以及数学推导(FULL BPTT)
热门推荐
天道酬勤，做一个务实的理想主义者
04-30 11万+
前段时间看了一些关于LSTM方面的论文，一直准备记录一下学习过程的，因为其他事儿，一直拖到了现在，记忆又快模糊了。现在赶紧补上，本文的组织安排是这样的：先介绍rnn的BPTT所存在的问题，然后介绍最初的LSTM结构，在介绍加了遗忘控制门的，然后是加了peephole connections结构的LSTM，都是按照真实提出的时间顺序来写的。本文相当于把各个论文核心部分简要汇集一下而做的笔记，已提供快
BPTT算法推导以及LSTM是如何解决梯度消失的
Machine Learning with Tutors
05-11 1106
在博客里看见的一个非常有用的推导过程，自己记录一下之后复习用： 下面贴一下笔记：
什么是LSTM？LSTM如何解决梯度消失问题
11-29
LSTM是一种长短期记忆网络，是一种特殊的RNN。LSTM通过门机制解决了梯度消失问题。...在更新参数时，LSTM使用了一种特殊的反向传播算法，称为BPTT（Backpropagation Through Time），它可以有效地解决梯度消失问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值