卷积神经网络原理_神经网络原理简述—卷积Op求导

最新推荐文章于 2022-01-06 17:38:51 发布
最新推荐文章于 2022-01-06 17:38:51 发布
阅读量416 收藏
点赞数
文章标签： 卷积神经网络原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39850167/article/details/111362160
版权
本文深入探讨卷积神经网络（CNN）训练中的自动求导细节，以单个数学操作（Op）为节点，对比了Pytorch、MXNet和TensorFlow 2.0与Caffe、TensorFlow 1.x的自动求导机制。通过实例分析了卷积Op中关于输入x、权重k和偏置b的偏导数计算，展示了如何将卷积转换为矩阵乘法形式以简化求导过程。文章还预告了后续将讨论其他操作的求导和Autograd的构图与计算模式。
摘要由CSDN通过智能技术生成

目前主流的CNN训练框架，如pytorch、mxnet、tensorflow2.0中都已经集成了autograd的机制，自动求导的机制相较于传统训练框架如caffe、tensorflow 1.x等粒度要精细。caffe、tensorflow 1.x一般以单层Op作为BP的节点，pytorch、mxnet、tensorflow 2.0中集成了autograd的机制，以单个math op作为bp节点。

本文通过算例跟大家讨论一下卷积Op在CNN训练过程中的一些求导细节，采用的记号和形式主要参考caffe、tensorlfow 1.x的设计模式，粒度为单个layers（如Conv2D layers）。卷积的数学符号的计算图，一般可以用如下图表示：

c70db38c2c486206b69034519de39191.png
卷积图例

上图中，我们一般称x为features，k为conv kernel，b为bias。卷积的inference path可以参考上图中的红线方向箭头，其back-propagation path可以参考上图中的蓝色方向箭头。通过观察不难反向，在卷积Op中如果想实现反向传播，我们需要考虑三个数据项的求导过程，即y关于x的偏导、y关于b的偏导、y关于k的偏导。我们先来看一个简单的算例：

最低0.47元/天 解锁文章
weixin_39850167
关注
卷积层如何反向求导
织席贩履之辈
03-28 2911
通常我们在进行卷积的运算时，只考虑正向运算，似乎我们对卷积的正向运算非常了解。但是机器学习或者是深度学习的关键在于参数优化，而优化势必要反向运算，即损失函数对各个层级的参数进行求偏导。如果是如果是传统的机器学习，由于他的链路比较短，所以反向求导似乎很容易想象、很容易理解。而一旦切换到深度学习的阵营，我们对于反向求导似乎不怎么考虑，因为各种深度学习框架早已内置了各种反向求导机制，我们只管设计深度卷积...
深度学习基础（五）：循环神经网络概念、结构及原理实现
lyc_yongcai的博客
06-14 1907
本文的概念和结构部分摘自循环神经网络惊人的有效性 循环神经网络 序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制：他们接收一个固定尺寸的向量作为输入（比如一张图像），并且产生一个固定尺寸的向量作为输出（比如针对不同分类的概率）。不仅如此，这些模型甚至对于上述映射的演算操作的步骤也是固定的（比如模型中的层数）。RNN之所以如此让人兴奋，其核心原因在于其
卷积神经网络的数学推导
01-25
本文假设读者比较熟悉神经网络的相关知识，特别是反向传播算法的过程，从数学推导的角度来理解 CNN 的内部原理。
手推卷积神经网络参数（卷积核）求导
weixin_43420691的博客
10-24 1794
pytorch卷积链式求导 torch中的求导需要最后的损失函数值是一个标量。下面以L1损失为例进行分析。我们想自己定义输入和卷积核，所以使用torch.nn.functional中的conv2d进行卷积操作，方便进行分析。具体代码如下 import torch import torch.nn as nn import torch.nn.functional as f loss=nn.L1Loss() x1=torch.tensor([[[[1,2,3,4], [4,3,2,
卷积求导（卷积神经网络）
计算机视觉、机器学习朝拜者
12-11 2万+
由于最后
tensorflow中的基本概念
weixin_30521649的博客
12-08 263
本文是在阅读官方文档后的一些个人理解。 官方文档地址：https://www.tensorflow.org/versions/r0.12/get_started/basic_usage.html#basic-usage 关于tensor和op的理解 Nodes in the graph are called ops (short for operations). An op takes...
【深度学习】VGGNet原理解析及实现
gogo小Sa的专栏
06-25 2万+
【深度学习】VGGNet原理解析及实现        VGGNet由牛津大学的视觉几何组（Visual Geometry Group）和Google DeepMind公司的研究员共同提出，是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于证明使用很小的卷积（3*3），增加网络深度可以有效提升模型的效果，而且VGGNet对其他数据集具有很好的泛化能力。到目前为止，VGGNet依...
基于mnist数据集利用LeNet5实现手写数字识别重点解析
图来搞事情
05-23 791
一张图搞事情 如有问题，欢迎各位大佬指正！
Python计算机视觉编程 - LeNet卷积模型实现Mnist手写体训练
码农生活的博客
06-02 940
摘要 1.看mnist数据库特点(自己写)，挑战在哪里 缺失 不规则 旋转 2.LeNet-5原理 3.数值化结果 1.mnist数据库特点 MNIST数据集是一个手写数字数据集，每一张图片都是0到9中的单个数字。 MNIST数据库的来源是两个数据库的混合,一个来自Census Bureau employees(SD-3),一个来自high-school students(SD-1)；有训练样本6...
深入浅出——人工智能基础
qq_42160763的博客
09-23 858
简述——姚远舟的第一篇博客系列^ _ ^ 这是我的第一篇博客文章，这几天看东西总是看不懂了，毫无效率。所以就来总结总结以前学到的东西以及自己的理解，避免遗忘，这篇文章主要讲解神经网路结构，卷积神经网络的原理（卷积层、池化层、全连接神经网络），梯度下降算法和应用卷积神经网络的一个机器学习入门列子——基于MNIST数据集的手写数字的识别 神经网络的结构 说到什么是神经网络，首先就要先解释⼀种被称为“感...
TensorRT动态卷积自定义op（多输入卷积/权重动态卷积）
Fenplan的博客
01-06 2214
随着算法模型的不断演变，常规的模型结构已经不能满足算法人员的需求，于是衍生出形色各异的op，比如动态卷积，即前向传播过程中，weight也会随着输入的不同而发生改变。 声明： 所谓动态卷积指在前向传播过程中weight发生变化 此处的动态卷积只是笔者对该op的一种称呼 TensorRT通过ConvMultiInput来实现这种卷积（多输入卷积），但是只支持INT8显式量化 目前发现只在TensorRT中存在动态的问题，其他如onnx、OpenVINO不存在该问题 动态卷积大概长下面这个样子。其中inpu
tensorflow：自定义op简单介绍
Keith
06-26 3万+
tensorflow 自定义 op本文只是简单的翻译了 https://www.tensorflow.org/extend/adding_an_op 的简单部分，高级部分请移步官网。可能需要新定义 c++ operation 的几种情况： 现有的 operation 组合不出来你想要的 op 现有的 operation 组合 出来的 operation 十分低效 如果你想要手动融合一些操作。 为了实
卷积函数的使用——使用卷积提取图片的轮廓
枫城雪-----学习空间
10-28 1469
使用卷积提取图片的轮廓 简介：        使用sobel算子，将彩色图片生成带有边缘化信息的图片。本例先载入一张图片，然后使用一个“3通道输入，1通道输出的3x3卷积核”（也就是sobel算子），因为是彩色（三通道）图片，所以使用是三通道。 1.首先载入图片： ...
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
热门推荐
zouxy09的专栏
08-16 49万+
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现zouxy09@qq.comhttp://blog.csdn.net/zouxy09          自己平时看了一些论文，但老感觉看完过后就会慢慢的淡忘，某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下，一方面在整理过程中，自己的理解也会更深，另一方面也方便未来自己的勘察。更好
卷积神经网络反向求导详解
格物致知
05-10 5980
在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)1. 回顾DNN的反向传播算法　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的δLδL:δL=∂J(W,b)∂zL=∂J(W,b)∂...
卷积神经网络(CNN)反向传播算法
zdy0_2004的专栏
03-03 3706
http://www.cnblogs.com/pinard/p/6494810.html 　　　　在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP) 1. 回顾DNN的反向传播算法 　　
详解卷积神经网络反向传播
为实现四个现代化奋斗
03-01 1万+
原文地址：http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/在一般的全联接神经网络中，我们通过反向传播算法计算参数的导数。BP 算法本质上可以认为是链式法则在矩阵求导上的运用。但 CNN 中的卷积操作则不再是全联接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pool...
各大AI研究院共35场NLP算法岗面经奉上
AI蜗牛车
03-05 779
本文涵盖了腾讯微信事业群模式识别中心，PCG和TEG事业群，阿里达摩院，蚂蚁金服，百度研究院，京东研究院，头条AI Lab，滴滴AI Lab，微软亚洲研究院，微软工程院以及联想研究院等等多...
卷积神经网络原理与结构详解
深度学习与卷积神经网络 深度学习是机器学习的一个分支，它是指使用多层人工神经网络来学习和表示复杂数据的方法。卷积神经网络（Convolutional Neural Networks，CNN）是深度学习中的一种常用模型，广泛应用于图像...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值