卷积神经网络中的误差计算和梯度更新

已于 2022-05-08 19:47:02 修改
阅读量1.2k 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 机器学习
于 2022-05-08 18:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunshine_qs/article/details/124652077
版权
本文介绍了卷积神经网络中误差的计算和反向传播过程，旨在通过反向传播得到每个参数的损失梯度。接着详细阐述了权重更新的三个步骤，包括采用分批次样本的原因，以及不同优化器如SGD、SGD+Momentum、Adagrad、RMSprop和Adam的工作原理和优缺点。这些优化器通过调整学习率，帮助网络避免噪声干扰和局部最优解，从而提高模型训练效果。
摘要由CSDN通过智能技术生成

卷积神经网络中的误差计算和梯度更新

前言

该文章是跟随B站UP主霹雳吧啦Wz学习
霹雳吧啦WzB站主页

-----------------------------------------------------------------------------------------------------------

一、误差的计算

二、误差的反向传播

目的

将误差反向传播到每个参数，得到每个参数的损失梯度

三、权重的更新

1.公式
image-20220508182340622

2.采用分批次样本求解的原因

实际应用中算计往往不够，内存也不足

最低0.47元/天 解锁文章
晴天不姓晴
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习】基础知识之：卷积神经网络的误差计算与反向传播详解
拾年之璐
03-01 4719
本文主要内容：2.1 误差的计算2.1.1 示例：2.1.2 Cross Entropy Loss交义熵损失2.1.3 回到前面的示例2.2 误差的反向传播2.3 权重的更新 2.1 误差的计算 2.1.1 示例： 下面以一个三层的BP神经网络为例进行讲述，如下图： 参数讲解： 左侧为输入层，有两个参数：x1 和 x2 。 中间的带有σ的表示隐层。W11(1) 中，下标的第一个1，表示上一层的第几个节点，第二个1，表示当前层的第几个节点。上标表示当前是第几层。 σ 表示激活函数。 b1
卷积神经网络的梯度求解
loki2018的博客
11-15 1482
在一些对神经网络可解释性的研究中，总是会利用到损失函数对最后一层特征图进行求梯度的操作，例如著名的Grad CAM，因此对于卷积神经网络的理解不能仅仅停留在调包的阶段，我们需要拆解开它求梯度的黑盒。以下是以上计算过程的代码，可以发现计算结果和推导是一致的。的每个元素对最终输出的贡献大小，就需要计算出。最后将结果整合之后，再将形状变换与。操作之后，得到一个新的特征图。如图所示，假设有一个特征图。得到一个长度为2的输出向量。因此根据链式求导法则，中每个元素的偏导，即。我们整理一下从特征图。
CS231n作业笔记1.6：神经网络的误差与梯度计算
silent56_th的博客
12-21 3438
CS231n简介详见 CS231n课程笔记1：Introduction。 本文都是作者自己的思考，正确性未经过验证，欢迎指教。作业笔记这里实现的是一个两层神经网络（含有一个隐层），激活函数使用的是ReLU，误差函数使用的是softmax，使用了L2正则项。1. scores计算需要注意的有 1. 最后一层不使用激活函数 2. 注意加bias的时候，使用了broadcasting，所以在反向传
卷积神经网络误差分析
07-20 988
　　卷积神经网络中的权值更新也是使用误差的反向传播算法。损失函数一般使用最小平方误差函数。由于卷积网络中存在两部分区域：卷积区和全连接区，它们在计算损失时有所不同我们将其分开进行讨论。 1、全连接网络的权值更新 　　这一部分与经典的人工神经网络不同之处在于多了一个偏置值。我们主要对多出的这个偏置值的更新进行分析即可，其他的权值变化和人工神经网络的方法类似。 　　对于全连接区的第l层...
深入浅出——搞懂卷积神经网络误差分析（一）
热门推荐
AIGC | 智能洞察，创造未来
04-23 2万+
卷积神经网络　误差分析　ＢＰ算法
神经网络中关于梯度的问题
秀秀的奇妙旅行
03-17 7972
回归与梯度下降： 回归(回归和分类) 在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等 梯度下降 图中给出了训练集，拟合函数，输出数据，输入数据的维度(特征的个数，features)，n 我们用X1，X2…Xn 去描...
初识卷积神经网络(2)-模型参数如何更新？
机器学习，深度学习
07-08 7651
机器学习中的两大类参数： 超参数：在模型训练之前需要设置的参数，而不是通过训练得到的参数数据。比如：学习率，深层神经网络隐藏层数。 模型参数：模型要学习的参数，比如：权重W和偏置b，其是在网络训练过程中自动学习和更新。 在深度学习中，在我们搭建好神经网络模型之后，最重要的是参数学习。在此之前， 我们先要弄懂，什么是前向算法和反向传播算法。 前向算法：从网络输入到网络最终输出的过程称为前...
【PyTorch】卷积层、池化层梯度计算
Esperanto.的博客
08-04 2906
很早之前就该有
神经网络误差回传或梯度下降法迭代更新原理推导
lx101071的博客
04-21 1176
鉴于网上没有特别清晰地解释为何梯度下降法中更新式子为 特此将自己理解做个记录。 1. 先从Taylor展开的本质开始理解： 泰勒展开：泰勒公式是将一个在x=x0处，且具有n阶导数的函数P(x)利用关于(x-x0)的n次多项式来逼近函数f(x)【我们想要近似的函数】的方法。泰勒展开式在x=x0点展开形式为：【即f(x)只是用来近似t(x)在x0点附近的函数值】 Taylor展开的真正意义：对于x0点的泰勒展开，其第一项就是f(x0), 也就是说对于x0这点的值来说，泰勒展开没有任何意义，因
神经网络参数更新方法
善心怡
08-08 1万+
神经网络参数更新方法 SGD及变种 1、普通SGD update     SGD（Stochastic Gradient Descent）就是最常见的随机梯度下降。     向着参数的梯度的负方向改变（梯度方向是增加的方向）。     这里的x可以是权值w也可以是偏置b。 2、Momentum update     相比于普通SGD，这种方法在深度网络中收敛更好。  
卷积神经网络的卷积操作及其梯度
fsdfasfawre的博客
06-08 7603
1. 卷积层（Convolutional Layer）卷积层，也可以称之为特征提取层，是CNNs最重要的部分。卷积层需要训练的参数是一系列的过滤器（我更喜欢卷积核这个词），这些过滤器的大小一致，通常都是正方形。假设我们有n个过滤器，每个过滤器的大小为kxk（k通常取3或5），那么这一层我们需要训练的参数就有nxkxk+n/c个（这里的c表示通道数，如果是灰度图像c=1，如果是彩色图像c=3）。权值...
【Python实现卷积神经网络】：推导卷积层的W,b的梯度
Jack_Kuo的博客
08-21 4247
通过之前的学习【Python实现卷积神经网络】：卷积层的正向传播与反向传播+python实现代码，我们知道卷积层的反向传播有三个梯度要求： 1.对输入数据的求导 2.对W的求导 3.对b的求导 当时，我写2.对w求导时，参考的是这篇文章：CNN卷积神经网络和反向传播，而他的对w求导是需要将卷积层的输入数据做180度翻转，下图是摘自这个博客： 所以，我依照这个说法，...
卷积神经网络权重是什么,卷积神经网络卷积过程
神经网络爱好者
08-12 5175
如果对于原图片的每一个F*F的方框都需要计算这样一个输出值，那么需要的参数只是W*H*F*F，如果原图长宽是10^2级别，而F在10以内的话，那么需要的参数的个数只有10^5~10^6级别，相比于原来的10^8~10^12小了很多很多。假设输出层每个像素只与输入图片上F*F的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个F*F的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的W*H减小到了F*F。例1：信号分析如下图所示，输入信号是f(t)，是随时间变化的。..
ITK:高斯的一阶导数进行卷积来计算图像的梯度
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-19 1358
ITK:高斯的一阶导数进行卷积来计算图像的梯度内容提要输出结果C++实现代码 内容提要 通过与高斯的一阶导数进行卷积来计算图像的梯度。 GradientRecursiveGaussianImageFilter的输出由两个图像组件（沿X和Y方向的渐变）组成。在此示例中，我们使用CovariantVector像素类型的图像存储这些组件。协变矢量是梯度的自然表示形式，因为它们等效于等值流形的法线。 此示例还显示了如何将X和Y梯度提取为图像，以及如何计算CovariantVector图像的大小。 请注意，协变量向量
神奇的卷积神经网络(三)
GMX Forever
10-16 1626
Convolutional Neural Networks (卷积神经网络) 前两篇我们已经对卷积神经网络的结构，做了详细的介绍。小小的总结一下：原始图像经过多个卷积核卷积得到多个卷积特征，再经过池化层池化，得到池化特征，通常我们还会把池化特征经过一个激活函数进行非线性变化再输入到我们的分类器中。现在deep learning中大多都使用Relu这个激活函数，关于Relu我们稍后再谈。下面这个流
matlab 卷积求图像梯度,图像的卷积(滤波)运算(一)——图像梯度
weixin_42306083的博客
03-17 1774
1. 卷积/滤波原理首先要明确的一点是图像的卷积/滤波运算，是针对原图像每一个像素进行处理，得到一个新的图像的过程。那么进行怎么样的运算呢？要知道图像能够被人所识别，是因为图像中每个像素并不完全是离散而独立的，每个像素都跟周围的像素相关。因此，对每一个像素，选定其周围一定范围内的像素值进行运算，得到新的图像的像素值也一定是相关的。而这个范围，就是卷积/滤波的窗口。只有相关的像素值是不够的，还需要改...
机器学习（十三）卷积神经网络(CNN)详细公式推导
最新发布
qq_45800507的博客
11-19 4159
CNN 是为了识别二维形状而特殊设计的多层感知器, 对二维形状的缩放, 倾斜或其它形式的变形具有高度不变性. 每一个神经元从上一层的局部区域得到输入, 这迫使神经元提取局部特征. 一旦一个特征被提取出来, 它相对于其它特征的位置被近似保留下来, 而忽略掉精确的位置. 每个卷积层后面跟着一个池化, 使得特征图的分辨率降低, 而有利于降低对二维图形的平移或其他形式的敏感度.
卷积神经网络基础
qq_45825952的博客
09-16 771
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。来源于哔哩哔哩博主“霹雳吧啦Wz”，博主学习作为笔记记录，欢迎大家一起讨论学习交流。
卷积神经网络梯度消失,神经网络中梯度的概念
神经网络爱好者
08-11 1506
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。方法：1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和梯度爆炸的方案：使用新的激活函数Sigmoid函数和双曲正切函数都会导致梯度消失的问题。ReLU函数当x...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值