卷积层如何反向求导

最新推荐文章于 2023-10-10 14:34:56 发布
VIP文章 最新推荐文章于 2023-10-10 14:34:56 发布
阅读量2.8k 收藏 2
点赞数 2
分类专栏： 机器学习数学原理 文章标签： 卷积 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35866736/article/details/105166845
版权

通常我们在进行卷积的运算时，只考虑正向运算，似乎我们对卷积的正向运算非常了解。但是机器学习或者是深度学习的关键在于参数优化，而优化势必要反向运算，即损失函数对各个层级的参数进行求偏导。如果是如果是传统的机器学习，由于他的链路比较短，所以反向求导似乎很容易想象、很容易理解。而一旦切换到深度学习的阵营，我们对于反向求导似乎不怎么考虑，因为各种深度学习框架早已内置了各种反向求导机制，我们只管设计深度卷积框架就行，优化的事情交给TensorFlow或pytorch等就行。
今天就来思考一下针对卷积神经网络的的反向求导过程，他到底是怎么实现的？今天的思考只是一个粗浅的看法，不涉及关于反向求导的复杂庞大的理论体系。

第一件事情

所谓的误差反向传递或者是反向求导，理论上就是复合函数求偏导，这个复合函数层层嵌套，这是理解反向求导的内核。打个不太恰当的比方，就如同洋葱一样，剥很多层皮之后才可能看到那个洋葱心，反向求导就是这么个玩意，但是在这里，我们剥的每层皮都有价值，因为在每层皮上既可以求出损失函数对该层参数的偏导数，以方便优化，又能将损失误差通过该层的参数传递到该层的前向输入口（即上一层的输出口），以方便前面一层（里面一层）的求偏导工作。

第二件事情

在卷积神经网络中，误差是怎么一步一步往后传递的？如果该层有一个显示的表达式，我们很容易反向求导，可是他偏偏是以卷积模板通过滑窗的方式进行的前向计算，这个我们的求导增添了意思朦胧感。解铃还须系铃人，如果你认真思考正向的卷积到底是怎么做的，其实就很容易逆向求导。
这里我们假设该层的逆向输入偏导数是 z ′ z' z′，他的维度和size与该层的正向输出 z z z完全一样。假设该层的正向输入为 x x x，其中的一个卷积模板filter为 y y y，整个网络的损失函数标记为 L \mathcal L L， L \mathcal L L对该层的正向输入 x x x求偏导的结果记为 x ′ x'

最低0.47元/天 解锁文章
Sunny_Jie
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch反向求导更新网络参数的方法
09-18
今天小编就为大家分享一篇Pytorch反向求导更新网络参数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于代码的Pooling池化层的反向求导细节
机器学习杂货铺1号店
08-04 2183
《土豆笔记之反向求导细节系列》Pooling池化层的反向求导细节 前言 这个系列主要是对深度学习中常见的各种层的反向求导细节进行学习和介绍，并且辅以代码予以理解，本章介绍的是池化层，包括有max_pooling和avg_pooling，考虑到其stride的变化，其反向求导的细节也颇具有价值进行深究。如有谬误请联系指出，谢谢。 联系方式： e-mail: FesianXu@gmail....
神经网络反向求导不可导情况处理
weixin_42720875的博客
05-05 3229
神经网络反向求导不可导情况处理激活函数不可导池化不可导针对平均池化：max池化 激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 relu(x)=max(x,0) relu(x)=max(x,0) relu(x)=max(x,0) 针对这...
1Pytorch之反向求导
最新发布
qq_28611929的博客
10-10 138
那么它将会追踪对于该张量的所有操作（保留计算过程中的梯度信息）。或者可以理解为，这个tensor是一个参数，后续会被计算梯度，更新该参数。之后的每次计算都会修改其grad_fn。对于pytorch中的一个tensor，如果设置它的属性。属性，用来记录做过的操作。
BP神经网络的反向求导
treasuresss的专栏
03-05 6121
BP神经网络本文章主要是记录BP神经网络的反向求导的具体过程，主要参考是UFLDL Tutoial。 中文版教程请戳此神经网络经典的神经网络是由多个感知器（神经元）构成的全连接的网络，本质上来说，这样的连接只是简单的线性加权和而已，所以每个神经元加上同一个非线性函数（如sigmoid，tanh等），使得网络能拟合非线性，其中这个非线性函数成为激活函数。符号描述为简便叙述，本文中的神经网络都是最简单
深度学习——神经网络前向传播与反向求导过程
hei653779919的博客
02-01 1771
神经网络基础和反向传播(BP)算法 1. 感知机算法 1.1 单层感知机 单层感知机：以不同的n个实数作为输入，计算这些实数的线性组合，与实现设定好的阈值进行比较，高于设定的阈值，输出1，否则输出-1(输出的结果可以根据实际进行设定) 。下面是一个单层感知机的图示。 上图中，x1,x2,x3,x4是单层感知机的输入，w1,w2,w3,w4是输入在线性组合时候的权重。求和的过程为：∑i=04wix...
详解反向传播算法(上)
counter_king的博客
12-22 2438
原文出处：知乎：详解反向传播算法(上) 详解反向传播算法(上) 晓雷 1 年前 目录： 1 用计算图来解释几种求导方法： 1.1 计算图 1.2 两种求导模式：前向模式求导( forward-mode differentiation) 反向模式求导(reverse-mode differentiation) 1.3 反向求导模式（反向
深度学习代码实践（五）- 从0搭建一个神经网络：从多元方程到梯度下降反向求导
千里之行
11-07 2180
回到多元方程的求解方法 对于构建一个神经网络来说，需要求出每一个神经元的参数。 每一层都有线性变换，加上非线性变换组成。 神经网络的求解变成一个多元方程的求解问题。 图：要求解的线性函数变换（单层） y1 ​= x1​w11 ​ + x2​w21​+ ... + xnwn1 + b1 y2 ​= x1​w12 ​ + x2​w22​ + ... + xnwn2 + b2​ y3​= x1​w13 ​+ x2​w23 ​+ ... + xnwn3...
cs231n笔记（6）--反向求导
chenlufei_i的博客
12-10 2324
一.理解       反向求导在BP算法中也叫梯度下降，我对其的理解就是为了让最后的损失函数损失最小化（即识别误差最小），如何让最后误差最小呢？由于导数在几何上的意义是函数上升或者下降的趋势，那么我们可以把整个人工神经网络+损失函数的模型看成是一步一步的函数叠加的结果，输入为图像，输出为损失。那么每一个神经元（激活函数）以及之后损失函数都会对最后的误差结果产生影响。反向求偏导后（链式法则，每一步
Conv卷积层的反向求导细节
机器学习杂货铺1号店
12-03 2213
《土豆笔记之反向求导细节系列》Conv卷积层的反向求导细节 前言 这个系列主要是对深度学习中常见的各种层的反向求导细节进行学习和介绍，并且辅以代码予以理解，本章介绍的是卷积层，考虑到不同通道之间的转换并且不同的stride，padding等，卷积层的反向求导研究起来也是颇有意思的。如有谬误请联系指出，谢谢。 联系方式： e-mail: [email protected] QQ: 97...
pytorch中的自定义反向传播,求导实例
09-18
今天小编就为大家分享一篇pytorch中的自定义反向传播,求导实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
卷积层梯度反向传播1
08-03
（1）将输入特征图变换为矩阵matric_data （2）进行矩阵相乘和非线性激活（等价于全连接层）后得到filter_data （1）把特征图的梯度dout_
深度学习入门课程---实现卷积层的前向传播与反向传播视频教程.mp4
02-07
深度学习入门课程---实现卷积层的前向传播与反向传播视频教程，希望能够学习者提供帮助，实现对卷积层的前向传播与反向传播基础知识的掌握与理解，为后续学习做好铺垫，实现卷积层的前向传播与反向传播的灵活运用
Jacobian矩阵和梯度矩阵
织席贩履之辈
06-24 8501
关于矩阵的内容其实是非常多的，庞杂而臃肿，总结起来也是耗时耗力，从有限时间的角度来讲，追求全面就如同夸父逐日，精神可嘉，但是方法愚拙，收效甚微；我们应该掌握的是Lineal Algebra里最基本，最原始的知识要点，有了这一些元知，其他高阶东西在我们用到的时候打补丁自然也会轻松不少。 本篇文章记录的仍然是Jacobian矩阵和梯度矩阵这样的元类知识，为以后的学习打好基础。
卷积的全面理解及其与互相关的关系
织席贩履之辈
11-11 4613
卷积的连续形式： (f∗g)(x)=∫−∞+∞f(τ)g(x−τ)dτ({\rm f}*{\rm g})(x)=\int^{+\infty}_{-\infty}{\rm f}(\tau){\rm g}(x-\tau){\rm d}\tau(f∗g)(x)=∫−∞+∞​f(τ)g(x−τ)dτ 卷积的离散形式： (f∗g)(x)=∑τ=−∞+∞f(τ)g(x−τ)({\rm f}*{\rm g})...
Gram矩阵和核函数
织席贩履之辈
07-28 4234
Gram矩阵定义 内积空间中的一组向量v1,v2,⋯ ,vn\bm v_1,\bm v_2,\cdots,\bm v_nv1​,v2​,⋯,vn​的Gram矩阵是内积的Hermitian矩阵（复共轭对称矩阵AH=AA^H=AAH=A），定义为：Gij=⟨vi,vj⟩{\rm G}_{ij}=\langle\bm v_i,\bm v_j\rangleGij​=⟨vi​...
空间解析几何与向量代数
织席贩履之辈
07-17 3126
一. 向量及其线性运算 模长等于111的向量称为单位向量。 向量的线性运算： ①加法；②数乘：λα⃗=(λax,λay,λaz)\lambda\vec{\alpha}=(\lambda a_x,\lambda a_y,\lambda a_z)λα=(λax​,λay​,λaz​)。 二. 数量积、向量积、混合积 1. 两向量的数量积（也称“点乘”或“内积”） 数量积，即积完之后是一个数。 几...
向量空间和线性映射
织席贩履之辈
07-20 2537
向量空间 向量空间需满足的几点要求： 闭合性（closure properties） 加法的闭合性，即该向量空间V\bm VV内的任意两个向量相加还在该向量空间V\bm VV内。（closure for addition） 数乘的闭合性，即标量域SSS的数与向量空间V\bm VV中的向量在数乘之后得到的向量依然在该向量空间V\bm VV中。（closure for scalar multipl...
基于训练好的CNN网络中，计算指定卷积层的输出相对于输入张量的梯度，pytorch代码实现
05-26
可以使用`torch.autograd.grad`函数来实现计算指定卷积层的输出相对于输入张量的梯度。具体代码如下： ```python import torch # 构建CNN模型 model = torch.nn.Sequential( torch.nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Flatten(), torch.nn.Linear(64 * 4 * 4, 10), ) # 定义输入张量 input_tensor = torch.randn(1, 3, 32, 32, requires_grad=True) # 定义卷积层的名称 conv_layer_name = '4' # 前向传播计算输出 output_tensor = model(input_tensor) # 选择指定的卷积层 conv_layer = model[int(conv_layer_name)] # 计算输出相对于输入张量的梯度 grad_tensor = torch.autograd.grad(outputs=output_tensor, inputs=input_tensor, grad_outputs=torch.ones_like(output_tensor), retain_graph=True)[0] # 计算输出相对于指定卷积层权重的梯度 weight_grad_tensor = torch.autograd.grad(outputs=output_tensor, inputs=conv_layer.weight, grad_outputs=torch.ones_like(output_tensor), retain_graph=True)[0] # 输出梯度值 print('Grad Tensor:', grad_tensor) print('Weight Grad Tensor:', weight_grad_tensor) ``` 需要注意的是，使用`torch.autograd.grad`函数时，需要指定`grad_outputs`参数为一个与输出张量大小相同的张量，且张量中每个元素的值都为1，表示对输出的每个元素求导。同时，由于要反向传播计算梯度，需要设置`retain_graph=True`，以避免反向传播时图被清空。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值