（深度学习）CNN和RNN，LSTM公式推导

最新推荐文章于 2022-10-06 19:20:14 发布
最新推荐文章于 2022-10-06 19:20:14 发布
阅读量1.7k 收藏 8
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rudy95/article/details/96481972
版权
本文介绍了CNN、RNN及LSTM的前向传播和反向传播过程，重点讨论了LSTM如何缓解梯度消失问题。内容包括CNN的池化层和卷积层误差传播公式，RNN的权重共享导致的梯度问题，以及LSTM的门控机制和参数计算。还探讨了LSTM的多种应用场景及其变种。
摘要由CSDN通过智能技术生成

BP的流程：
在这里插入图片描述

CNN

前向：
在这里插入图片描述
在这里插入图片描述
反向：
问题一：池化层误差的传播
如果是max池化，则按照前向传播记录的最大值位置，还原此前大小的矩阵，如下图所示：
第一个是误差传播到池化层的误差矩阵
第二个矩阵将误差矩阵的尺寸还原到未池化之前的矩阵大小
第三个矩阵按照max池化，传播梯度
第四个矩阵是按照average池化，传播梯度
在这里插入图片描述
最终得到，未池化前的误差梯度。
公式可以写成：
在这里插入图片描述

问题二：卷积层的误差传播
卷积层误差的传播包括两个部分：误差传播到上一层，以及推导本层的权重W和b的梯度

  1. 传播到上一层
    在这里插入图片描述
    第一项是当前层的误差矩阵，它与前一层的尺寸一般是不一样的，在计算时可以用0填充使得与l层权重W进行卷积后尺寸与l-1层一样，l层的权重矩阵需要旋转180度。

  2. 推导当前层的W和b
    矩阵形式：

最低0.47元/天 解锁文章
Rudy95
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习——CNN+RNN
Latterain的博客
06-30 1644
文章目录CNN，RNN图片标注视频行为识别图片/视频问答 CNN，RNN 相同点 都是传统神经网络的拓展 前向计算产生结果，反向计算更新模型 每层神经网络横向可以多个神经元共存，纵向可以有多层神经网络连接 不同点 CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算 RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出 CNN高级100+深度，RNN深度有限 组合后 大量信息同时具有时间空间特性：视频，图文结合，真实的场景对话 带有图像的对话，文本表达更具体 视频
长短期记忆网络（LSTM）算法详解
最新发布
东城十三
06-24 488
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊的循环神经网络（RNN），旨在解决传统RNN的梯度消失和梯度爆炸问题。LSTM通过引入门控机制，有效地捕捉和利用长时间跨度的依赖关系。LSTM广泛应用于自然语言处理、时间序列预测、语音识别等领域。长短期记忆网络（LSTM）是一种强大且灵活的循环神经网络，特别适用于处理序列数据和时间依赖性任务。通过理解其基本结构和实现方法，可以在自然语言处理、时间序列预测、语音识别等领域取得良好的效果。
深度学习算法之CNN、RNN、LSTM公式推导
yepeng2007fei的博客
04-29 1355
转载自https://blog.csdn.net/sinat_22336563/article/details/71216291。 整个推导过程首先一定对网络的结构有清醒的认知，所有变量的下角标都能一一对应到网络结构上；然后就是链式求导了。 一、CNN公式推导 1、前向传播 假设CNN共三层，第一层为输入层，第二层为隐藏层，第三层为输出层。 定义：第一层与第二层之间的参数为WihWih,...
卷积神经网络
热门推荐
雨石
11-29 31万+
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
人工神经网络、CNN、RNN、lstm
ANN, RNN和LSTM的通俗理解
Nina_ningning的博客
10-06 2015
深度学习，神经网络ANN，递归神经网络RNN，LSTM
lstm结构图_深入理解RNN与LSTM
weixin_39544101的博客
11-20 1631
循环神经网络（Recurrent Neural Network）基础在深度学习领域，神经网络已经被用于处理各类数据，如CNN在图像领域的应用，全连接神经网络在分类问题的应用等。随着神经网络在各个领域的渗透，传统以统计机器学习为主的NLP问题，也逐渐开始采用深度学习的方法来解决。如由Google Brain提出的Word2Vec模型，便将传统BoW等统计方法的词向量方法，带入到了以深度学习为基础的D...
深入理解RNN与LSTM
Frank's CSDN Blog
02-21 1551
文章目录循环神经网络（Recurrent Neural Network）基础RNN的前向传播RNN的反向传播RNN的梯度弥散与爆炸长短期记忆网络(Long Short Term Memory)LSTM的前向传播 循环神经网络（Recurrent Neural Network）基础 在深度学习领域，神经网络已经被用于处理各类数据，如CNN在图像领域的应用，全连接神经网络在分类问题的应用等。随着神经网...
循环神经网络RNN以及LSTM的推导和实现
kymowind的专栏
07-15 1万+
RNN&LSTM的详细推导和实现
rnn梯度计算过程
06-08
介绍RNN中参数梯度公式推导
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
Deep Learning：CNN卷积神经网络推导和实现
01-24
这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。
循环神经网络RNN 梯度推导(BPTT)
zlrai5895的博客
03-29 1358
https://zhuanlan.zhihu.com/p/32930648 https://zhuanlan.zhihu.com/p/26892413
RNN梯度的推导及为什么RNN有梯度爆炸问题
qq_38721353的博客
09-11 405
RNN梯度的推导及为什么RNN有梯度爆炸问题 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博...
RNN介绍及梯度详细推导
ait2018
01-31 5960
RNN梯度详细推导1. RNN的几种常见结构结构一结构二欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流...
RNN模型参数与变量的依赖以及时间反向传播梯度的推导
深度学习领域优质创作者，CSDN博客专家
08-13 486
熟悉RNN中的反向传播
探索深度学习入门：神经网络与CNN、RNN与LSTM
本章节涵盖了神经网络的基本原理和深度学习的起源，特别是深度学习中的关键算法如深度神经网络（DNN），卷积神经网络（CNN）和循环神经网络（RNN）及其变种，如长短时记忆网络（LSTM）。课程开始时，提到了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值