一文带你看懂CNN反向传播原理

最新推荐文章于 2024-07-24 12:00:37 发布
最新推荐文章于 2024-07-24 12:00:37 发布
阅读量3.5k 收藏 24
点赞数 4
文章标签： cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42078618/article/details/84193344
版权
本文详细介绍了CNN模型中反向传播的过程，从全连接层、激活层到损失函数的计算，通过链式法则求解权重梯度，并使用梯度下降法更新权重。讲解了误差的定义及其在网络训练中的作用，帮助理解深度学习中参数优化的原理。
摘要由CSDN通过智能技术生成

看这篇文章，看官需要了解常规CNN模型的结构，并且了解结构下的各层计算逻辑。

OK，我们这次对CNN从全连接层到计算损失函数大致三个阶段进行推导和分析。

 

全连接层——激活层（一般只把它看做一个函数，但是其实keras里面把它作为一个层）——输出层（计算损失）

 

1、假设全连接层的输入（即上一层的输出）为x，全连接层的权重参数（神经元）为w，则全连接层的输出为

这个过程是一个矩阵的乘法运算。那为了计算的方便，我们就以两个变量举例，则全连接层输出为：

 

2、激活层的激活函数我们用relu，然后对于X的负轴方向我们不需要考虑，因为都是0嘛，那怎么计算都是0。假设正轴部分是y=kx，即斜率为k的x轴正向直线部分。于是

最低0.47元/天 解锁文章
罗小丰同学
关注
一文弄懂神经网络中的反向传播法——Back Propagation
迈微AI研习社 · 号主
10-08 562
点击上方“迈微电子研发社”，选择“星标★”公众号重磅干货，第一时间送达最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了（点击这里文章第三部分观看）；后来发现有...
什么是GoogLeNet？一文看懂CNN经典模型GoogLeNet 从Inception v1到v4的演进
Marcus-Bao的个人主页
05-06 640
上一次我们谈到了CNN经典模型VGGNet，今天我们来简单聊聊比VGG更强大的GoogLeNet。 为什么有GoogLeNet? 2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了...
干货 | 深度学习之CNN反向传播算法详解
机器学习算法与Python学习
11-22 7029
微信公众号 关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在卷积神经网络(CNN)前向传播算法（干货 | 深度学习之卷积神经网络（CNN）的前向传播算法详解）中对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向
CNN详解——反向传播过程
lengyue815的博客
11-03 1949
每一个输出特征图可能是多个输入特征图的组合的卷积结果。w(l)ij w i j ( l ) 的变化只会影响到下一层的第 i 个节点的输入值，且变化值会被放大 a(l)j a j ( l ) 倍，因此为 δ(l+1)ia(l)j δ i ( l + 1 ) a j ( l )。（1） klij(uv) k i j ( u v ) l 为第 l−1 l − 1 层到第 l l 层的第 j j 个卷积核中与第 l−1 l − 1 层第 i i 个通道相连接的卷积层上的第 u u 行第 v v 列的值。
【深度学习】卷积神经网络(CNN)反向传播算法推导
最新发布
fengdu78的博客
07-24 133
作者丨南柯一梦宁沉沦@知乎（已授权）编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/61898234多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。首先我给大家介绍一下我分析delta误差...
CNN反向传播
Swift's Blog
06-08 419
深度神经网络(DNN)反向传播的公式推导可以参考之前的博客：https://transformerswsz.github.io/2019/05/29/反向传播/。 要套用DNN的反向传播算法到CNN，有几个问题需要解决： 池化层没有激活函数，我们可以令池化层的激活函数为 g(z)=zg(z) = zg(z)=z，即激活后输出本身，激活函数的导数为1。 池化层在前向传播的时候，对输入矩阵进行了压缩...
CNN的反向传播
qq_45870250的博客
11-13 1729
理解CNN(神经网络）怎么进行反向传播，怎么更新到上一层的参数，每一层参数更新的过程
一文看懂25个神经网络模型.pdf
05-13
这篇文档《一文看懂25个神经网络模型》旨在帮助读者理清当前流行的多种神经网络架构。本文将深入探讨几个关键的神经网络组件，包括神经元、卷积神经元、解卷积神经元、池化神经元和插值神经元，以及均值神经元和标准...
【一文读懂卷积神经网络（二）】可能是你看过的最全的CNN（步长为1，有填充）
weixin_43217928的博客
03-15 3204
上一篇文章已经介绍了无填充，步长为1的卷积神经网络,本文将继续由浅入深的介绍有填充，步长为1的卷积神经网络的前向传播与后向传播，有填充的池化层的前向传播与后向传播。 CNN卷积神经网络的原理【附Python实现】1.CNN的前向传播（有填充，步长strides=1）1.1 何为填充1.2 有填充的卷积层1.3 有填充的池化层2.CNN的反向传播（有填充，步长strides=1）2.1 池化层的反向...
CNN的反向传播推导与理解
xunan003的博客
04-29 3008
参考与说明 本文主要是通过阅读相关论文和一些辅助的博文来理解卷积神经网络里面的反向传播算法；相关的论文可以查看Notes on Convolutional Neural Networks, Jake Bouvrie 准备工作 首先呢，我们还是先回顾下在深度学习里面的反向传播算法的公式，损失函数为 C=12∥y−aL∥2=12∑j(yj−aLj)2 公式如下    关于
卷积神经网络CNN的反向传播原理
热门推荐
Sual
08-07 3万+
　　上一篇博客《详解神经网络的前向传播和反向传播》推导了普通神经网络（多层感知器）的反向传播过程，这篇博客则讨论一下卷积神经网络中反向传播的不同之处。先简单回顾一下普通神经网络中反向传播的四个核心公式：...
DNN和CNN的反向传播算法（全连接层、卷积层、池化层）
qq_36665989的博客
08-20 1151
   反向传播算法是用来计算神经网络（NN）的可训练参数的偏导数的算法。在神经网络的训练中，对于一个参数（例如权重）的更新，往往采用下面的式子。 wi,j=wi,j−α∑k∈B∂Jk∂wi,j. w_{i,j}=w_{i,j}-\alpha \sum_{k\in B}\frac{\partial J_k}{\partial w_{i,j}}. wi,j​=wi,j​−αk∈B∑​∂wi,j​∂Jk​​. 其中wi,jw_{i,j}wi,j​是某个我们想要更新的权重，α\alphaα是学习率（一般比较小，例如
CNN的反向传播推导
czp_374的博客
01-21 2913
卷积神经网络三个重要概念： 局部感受野（local receptive fields） 共享权重（shared weights） 池化（pooling） （1）局部感受野：在全连接的网络中，输入被描绘成纵向排列的神经元，但是在卷积网络中我们把它看成28x28的方形： 输入神经元的一小片区域会被连接到下一层隐层，这个区域被称为局部感受野，然后在输入图像中移动局部感受野，每移动一次，对应一个隐层...
【Stanford CNN课程笔记】4. 反向传播算法
elaine_bao的专栏
02-15 6117
本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognition课程的学习笔记。目前课程还在更新中，此学习笔记也会尽量根据课程的进度来更新。在这一章中，我们将介绍backpropagation,也就是反向传播算法。
CNN-损失函数、向前传播与反向传播
erfan_lang的博客
09-10 455
损失函数
对于全连接层的理解 全连接层的推导
GoodShot的专栏
02-16 1万+
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下图中第...
CNN卷积神经网络的反向传播算法
weixin_39695163的博客
02-17 741
1.传统DNN的反向传播计算: 损失函数: J(W,b,x,y)=12∣∣aL−y∣∣22J(W,b,x,y) = \cfrac{1}{2}||a^L-y||_2^2J(W,b,x,y)=21​∣∣aL−y∣∣22​ δl=∂J∂zl  表示对l层线性变换输出zl的偏导 \delta^l=\frac {\partial J}{\partial z^l} \,\,\text{表示对l层线性变换输出$z^l$的偏导} δl=∂zl∂J​表示对l层线性变换输出zl的偏导 最后一层输出层: ∂J∂aL=aL−y\
反向传播
guan18883287586的博客
05-02 434
看了一个对反向传播讲解很详细的博客，遂决定整理总结一下。 反向传播的本质就是导数中的连式法则： 该定理的详细解释在高数导数内容中，这里就不论述了。下面将借助一个全连接神经网络解释反向传播。 如上图所示，该神经网络由输入层、隐藏层、输出层构成，三层神经网络，单元数分别为3、4和3。假设给了m个训练样本，第i个输入输出对表示为： 其中，x和y是3维向量。对于输入x，我们把g称作神经...
一文看懂pmsm电机控制原理
06-24
总的来说，PMSM电机的控制原理就是通过控制器对电机的速度、电流和位置进行调节控制，实现对电机输出的转矩大小和相位的掌控，从而达到精准控制电机转速和运动轨迹的目的。 ### 回答2： 永磁同步电机（PMSM）是一...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值