Deep Learning学习笔记（二）——BP反向传播算法及其在CNN中的计算

最新推荐文章于 2024-05-19 00:26:29 发布
最新推荐文章于 2024-05-19 00:26:29 发布
阅读量965 收藏 2
点赞数
分类专栏： Deep Learning 文章标签： 深度学习 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/volga_chen/article/details/70587088
版权 
这里主要牵扯的问题是如何利用Cost Function来更新所有参数权值的问题。

误差反向传播算法利用高等数学里面的复合函数求导的思想，可以分别把每一层的线性项作为一组自变量，则前一层的误差敏感项（Cost Function对于这个线性项的偏导）就可以是由所有与其有连接的下一层的误差传播项乘以他们之间的权值，再乘上激励函数的导数。具体推导过程就不放了（我才不会说是因为我还没学Latex）。

以上所说的是对于所有神经网络通用的BP算法的说明，此处因为个人学习方向，针对CNN中的卷积层和池化层的传播进行说明。

CNN卷积神经网络推导和实现
CNN的反向求导及练习

大致意思有三个方面。

首先是池化层的误差传递，如果是max pooling则误差全部传递到取到最大值的那个输入；如果是average pooling则平均传递给所有输入。

其次是如何从后一层的误差敏感项得到前一层的。假设l层的一幅图像由两个卷积核得到两个l+1层的输出，那么，l层的误差敏感值应该分别由那两个输出的误差敏感值传递过来相加。将l+1层的误差敏感矩阵进行适当的padding（填0），然后用旋转过180度的卷积核进行卷积，得到和输入尺寸一样的矩阵，即为输入层的误差敏感值。

至于对于卷积层的权值的偏导，则将输入矩阵用输出误差敏感值进行卷积即可得到，然后便可像之前所说一样进行更新。

然而具体的推导嘛。。。我回头再试试，坑不保证填上。

CNN的介绍如果不出意外在下一篇博客中就会出现，挖坑。。。
volga_chen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络之BP反向传播算法
HPU_FRDHR的博客
04-03 3774
反向传播算法和BP网络简介 误差反向传播算法简称反向传播算法（BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；（2）计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；（3）更新参数w和b（目标是误差变小）。迭代前面两个步骤，...
卷积神经网络（CNN）理论学习之经典BP算法
持久决心的博客
12-26 1万+
简介卷积神经网络（Convolutional Neural Network）的结构类似于神经网络，可以看做是对其的改进。它利用局部连接、权值共享、多核卷积、池化四个手段大大降低了参数的数目，使得网络的层数可以变得更深，并且能够合理的隐式的提取特征。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于其特征检测层通过训练数据进行学习，隐式地从训练数据中进行学习，避免了显式的特征抽取；再者由
BP算法（CNN卷积神经网络）猫狗识别检测Python-博文
最新发布
m0_65146002的博客
05-19 873
BP算法，全称为反向传播算法（Backpropagation），是训练人工神经网络，尤其是多层感知机（MLP）的一种高效方法。在卷积神经网络（Convolutional Neural Network, CNN）中，BP算法同样发挥着核心作用，用于优化网络权重，从而提高模型在特定任务上的表现，例如图像分类任务，如猫狗识别项目。猫狗识别项目是一个典型的计算机视觉任务，旨在通过分析图像数据，自动区分图片中的动物是猫还是狗。
CNN的反向传播
qq_45870250的博客
11-13 1640
理解CNN(神经网络）怎么进行反向传播，怎么更新到上一层的参数，每一层参数更新的过程
java BpDeep
InE
01-10 749
class BpDeepimport java.util.Random;public class BpDeep { /** * 各层节点值 */ public double[][] layer; /** * 各层节点误差 */ public double[][] layerErr; /** * 各层
小白带你反向传播算法训练神经网络和CNN
keny-大成的博客
04-25 510
小白带你反向传播算法训练神经网络 1.反向传播方法中，采用梯度下降的技术来训练神经网络 W(t+1)=W(t)-η∇C(W(t)) η是学习率 可以固定为0.01 或者0.001 W(t+1)和W(t)分别是第（t+1）和第（t）次迭代时的权值向量。 ∇C(W(t))是损失函数（cost function）或残差函数（error function）针对权值矩阵W在第（t）次迭代...
[Deep Learning] 反向传播算法（Backpropagation Algorithm）
01-20
Chain Rule（链式法则） Case 1 如果有： y=g(x) z=h(y)y = g(x)\ \ \ \ \ \ z = h(y)y=g(x) z=h(y) 那么“变量影响链”就有： Δx→ΔyΔz\Delta x\rightarrow \Delta y \Delta zΔx→ΔyΔz ...
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network...
deeplearning学习总结（三）——卷积神经网络（CNN）
01-20
CNN是一种主要用于图像识别的神经网络深度学习方法，当图片像素过大，例如为3000*3000时（当然这也太大了），在Keras中根本无法使用Dense层直接运算，因此需要引入CNN。简单的说：CNN在工作过程中提取图片边缘信息，...
DeepLearning深度学习教程_第五章 卷积神经网络(CNN).pdf
08-23
卷积神经网络（CNN）是深度学习中一种关键的架构，尤其在图像处理领域表现出色。CNN通过模拟人脑视觉皮层的工作原理，利用卷积层、池化层、激活层等组件，有效地提取和学习图像特征。以下是关于CNN的一些核心知识点...
转载：BP（反向传播算法）公式推导及例题解析
ChunleiYi的博客
03-07 8730
首发于深度学习与我的那些事写文章BP（反向传播算法）公式推导及例题解析WILL深度学习搬砖者​关注他297 人赞同了该文章写在前面：最近赶上《模式识别》课程考试，就把BP重新复习了下。猜测老师可能会出这方面的计算题（hhh，也是不知道我哪里来的自信），就学习了Matt Mazur博客的例题。（再加一句废话：其实在我之前，已经有前辈 @EdisonGzq 写过了，觉得还是有必要自己推，所以就画蛇添足了）这里我们使用两个输入、隐含层两个神经元、两个输出，其中隐含层和输出层都有偏置，结构如下：为了能够保证传播过程
机器学习——深度神经网络实践（FCN、CNN、BP）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
06-15 4853
本篇博客主要介绍深度神经网络（FNC、CNN、BP等）算法的概念与原理以及相关分析推导，比较了FCN与CNN的异同，推导了神经网络前向后向传播算法的优化迭代公式。并将将深度神经网络算法运用于解决实际问题（以人脸识别、手写体识别、图像分类为例）。另外，针对经典神经网络的不足，设计了全新深度神经网络算法，从多方面、多角度进行了优化（内附数据集与python代码）。...............
卷积神经网络(CNN)反向传播算法&训练过程
weixin_40673873的博客
07-18 4002
卷积神经网络前向传播与反向传播算法 公式推导1、前向传播1.1卷积层前向传播1.2池化层前向传播1.3全连接层前向传播2、损失函数3、反向传播已知池化层δl\delta^lδl,推导上一层的δl−1\delta^{l-1}δl−1已知卷积层δl\delta^lδl,推导上一层的δl−1\delta ^{l-1}δl−1已知卷积层δl\delta^lδl，推导该层的W，bW，bW，b参数 卷积神经网络(CNN)因其接近人类视觉运作的特征提取方法、以及通过权值共享从而减轻计算任务的特点从而制霸计算机视觉领域，详
反向传播算法（过程及公式推导）
热门推荐
Arthur-Chen的专栏
04-01 20万+
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。
bp神经网络对数据的要求,bp神经网络参数有哪些
神器榜
10-14 3520
为了方便观察数据分布，我们选用一个二维坐标的数据，下面共有4个数据，方块代表数据的类型为1，三角代表数据的类型为0，可以看到属于方块类型的数据有（1，2）和（2，1），属于三角类型的数据有（1，1），（2，2），现在问题是需要在平面上将4个数据分成1和0两类，并以此来预测新的数据的类型。学习神经网络这段时间，有一个疑问，BP神经网络中训练的次数指的网络的迭代次数，如果有a个样本,每个样本训练次数n，则网络一共迭代an次，在n>>a 情况下 ， 网络在不停的调整权值，减小误差，跟样本数似乎关系不大。
Deep learning---------------Back propagation Algorithm（BP algorithm)
精锐小庄的专栏
12-02 1674
假设我们有一个固定样本集 ，它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为： 这是一个（二分之一的）方差代价函数。给定一个包含  个样例的数据集，我们可以定义整体代价函数为： 以上公式中的第一项  是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。 [注：通常权重衰减
【Deep Learning笔记】前馈神经网络和BP算法
李响
04-09 1680
文章目录1 前馈神经网络1.1 网络训练一些定义2 反向传播算法2.1 前言2.2 符号约定2.3 反向传播算法的推导2.4 总结过程3 收敛和局部极值4 神经网络杂谈 1 前馈神经网络 右图是左图的一个单个神经元。 所有权重的集合就可以是模型参数，知道参数之后，模型就可可以直接使用。 假设C是误差（评估函数），在A和B之间做调整（梯度下降法），让C达到最小。 梯度——》求导。 、 记忆化搜索...
小白日常学习---BP算法
weixin_43165871的博客
05-13 347
BP算法详细总结 神经网络 个人学习之后的理解，随手笔记。 这里可以用一个简单的小游戏来解释该网络，猜物品游戏，先给对方一个大致的范围，比如苹果，给定食物的范围，然后对方去猜（这就可以理解为正向传播），答错之后继续给提示（反向传播），这样有来有往直到猜到答案，就构成一个简单的BP网络。 在style transfer中就是，将input feature map 与output进行损失值的最小化匹配...
机器学习算法详解：多层网络与反向传播
"多层网络和反向传播算法在机器学习中的重要应用" 在机器学习领域，多层网络，特别是深度神经网络（Deep Neural Networks，DNNs），是解决复杂问题的关键工具。这些网络能够通过多层非线性转换表示各种各样的复杂...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值