【DL小结2】CNN前向、反向传播及常用结构

最新推荐文章于 2023-11-08 07:24:58 发布
最新推荐文章于 2023-11-08 07:24:58 发布
阅读量1k 收藏 4
点赞数
分类专栏： 深度学习之个人总结 文章标签： CNN 常用结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38493025/article/details/84230716
版权
本文详细介绍了CNN的结构，包括前向传播算法和反向传播过程，探讨了LeNet-5、AlexNet、VGGNet和ResNet等经典CNN模型，分析了它们的优点和缺点。VGGNet通过小卷积核增加网络深度，减少参数数量；GoogleNet引入Inception模块，实现高效计算；ResNet通过残差学习解决了深层网络的训练问题。
摘要由CSDN通过智能技术生成

CNN伟大之处在于通过感受野和权值共享减少了神经网络需要训练的参数的个数。

图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了。

feature map
特征映射，是输入图像和卷积核卷积后生成的图像特征。每个feature map通过1个卷积核提取输入的1个特征。我们需要多个卷积核来提取输入的多个特征。边长的计算公式是：
output_h =（originalSize_h+padding*2-kernelSize_h）/stride +1

CNN的核心思想：将局部感受野、权值共享以及下采样这3种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。

1.结构

  • 若干卷积层(+RELU激活函数)
  • 若干池化层(无激活函数)
  • 全连接层(+sigmoid/tanh激活函数，最后一层是softmax输出层）

2.前向传播算法

在这里插入图片描述

3.反向传播

最低0.47元/天 解锁文章
==樛木==
关注
专栏目录
AIGC实战——深度学习 (Deep Learning, DL)
盼小辉丶的博客
10-25 5万+
深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征，几乎所有复杂的生成模型都以深度神经网络为核心，深度神经网络能够学习数据结构中的复杂关系，而不需要预先提取数据特征。在本节中，我们将介绍深度学习基本概念，并利用 Keras 构建深度神经网络。
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
今天你学习了吗
12-20 1984
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层 花书+吴恩达深度学习（十一）卷积神经网络 CNN 之池化层 花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层 花书+吴恩达深度学习（十三）卷积神经网...
CNN网络中池化层的正向传播与反向传播理解
m_buddy的博客
05-23 6242
1. 池化定义 通常来说卷积之后的图像虽然在尺寸上有所减小，但是其尺寸还是较大，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling)，有时也称为平均池化或者最大池化...
前向传播和反向传播_CNN前向传播与反向传播优化（Python）
weixin_39908082的博客
11-27 470
CNN前向传播与反向传播基本原理参考​blog.csdn.netCNN前向传播与反向传播优化干货|（DL~3）deep learning中一些层的介绍​www.zybuluo.com个人理解：1、对输入图像进行采样，采样尺寸根据filter的尺寸进行设定； 2、将采样后的像素块拉伸为一个列向量；（3*3*3=27）3、根据步长及filter的size计算出，原图可以分割为多少个patch（像素块）...
记一次CNN前向可视化
心之所向
06-25 210
方法： 将feature maps在通道方向均值叠加，然后形成一个feature map，归一化到0-1之间（注意卷积后有负值存在，但RuLu后没有负值。），再放大到0~255。 可视化图像： ...
cnn卷积神经网络前向传播 连通层前代码
weixin_40604198的博客
03-01 212
#ifndef _D_CNN_ #define _D_CNN_ #include<Eigen> #include<opencv.hpp> #include<vector> #include<unordered_map> #include<ctime> using std::vector; using std::unordered_m...
CNN卷积神经网络的前向传播
Tomxiaodai的博客
08-26 1814
CNN的前向传播 1. 输入层到卷积层的前向传播   假设输入的是RGB的彩色图像，因此输入X是3个矩阵，分别对应了R,G,B的矩阵。 因为输入层是三个维度，因此卷积层一个filter的维度也是3. a表示当前层的输出，上标表示层数。σ表示激活函数，一般是Relu, *表示卷积操作，W表示卷积核 可以发现，CNN和标准的BPNN的前向传播很相似，只是，CNN不只是矩阵的乘积...
CNN前向传播算法
weixin_43392610的博客
12-27 384
输入：1个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。 输出：CNN模型的输出aLa^LaL 　　　　1) 根据输入层的填充大小P，填充原始图片的边缘，得到输入张量a1a^1a1...
深度神经网络和反向传播,双向传播的神经网络
super67269的博客
08-31 830
下面我尽可能地用简单的语言来阐述下我的看法（叙述中假设你已经大致知道什么是深度学习和神经网络：大数据和高性能计算在如今的互联网时代，都让神经网络有了前所未有的“更深”的可能，一批新方法被发明出来（DenoiseAutoencoder、图像识别中，他提出了利用RBM预训练的方法。几年后人们发现？3，抛砖引玉。在这个框架下？...
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
最新发布
盼小辉丶的博客
11-08 4820
在全连接网络中，首先需要将图像展平为一个一维向量，以便将其传递给第一个全连接层。为了考虑图像的空间结构，需要使用卷积神经网络 (Convolutional Neural Network, CNN) 。本节中，将介绍卷积神经网络的优势及其基本组件，并使用 Keras 构建卷积神经网络。
【DL小结3】RNN与LSTM
樛木
11-20 632
1.RNN 针对问题：训练样本是序列数据 模型思想：循环反馈 模型特点： （1）随着序列的推进，前面的隐层将会影响后面的隐层 （2）U、V、W权值共享 （3）每个输入只与它本身的那条路线建立权连接，不会和别的神经元连接。 模型缺点：梯度消失，无法处理长序列数据（解决：LSTM、GRU） RNN的前向传播 基于时间反向传播BPTT 2.LSTM 针对RNN梯度消失问题，对序列索引位置t的隐...
卷积神经网络(CNN)前向传播算法
weixin_34195546的博客
03-02 485
　　　　在卷积神经网络(CNN)模型结构中，我们对CNN的模型结构做了总结，这里我们就在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。 1. 回顾CNN的结构 　　　　在上一篇里，我们已经讲到了CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图...
深度学习（四）cnn前向传播
u013247002的博客
12-06 1177
写在前面：所有关于深度学习的基础知识均为鄙人的笔记分享，很多内容摘自大神们的博客或论文，因时间太长记不清了分别来自哪里。若有侵权，请联系鄙人邮箱min.wenfang@qq.com 总结： http://www.cnblogs.com/pinard/p/6489633.html   　下面详细说明 　 三个重点： 1 输入层的前向传播； 2 卷积层的前向传播； 3 池化层的前...
对于CNN卷积神经网络的前向传播和反向传播的理解
Spuer_Tiger
02-20 6014
对于CNN卷积神经网络的前向传播和反向传播的理解 前向传播示意图： ​ 咋一看这张图，作为初学者可能会**不知所云(￣ω￣=)**？但是想要很好的理解前向传播的原理，我们得从这张图细说。 1.首先我们从x，w的参数组成说起？ ​ 如图左下角所示，x[编号n,通道c,高h,宽w]，这里需要的注意的是通道c和编号n的作用。如图，这里输入的图片格式采用3通道，即R，G，B可以看作是输入图片的深度为3。...
详解神经网络的前向传播和反向传播（从头推导）
热门推荐
Sual
08-06 10万+
详解神经网络的前向传播和反向传播 本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读，有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。 　　对神经网络有些了解的人可能都知道，神经网络其实就是一个输入XXX到输出YYY的映射函数：f(X)=Yf(X)=Yf(X)=Y，函...
干货 | 深度学习之卷积神经网络（CNN）的前向传播算法详解
机器学习算法与Python学习
11-18 1万+
微信公众号 关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在（干货 | 深度学习之卷积神经网络(CNN)的模型结构）中，我们对CNN的模型结构做了总结，这里我们就在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。 深度学习系列 深度学习之DNN与
前向传播和反向传播（举例说明）
郭云飞的专栏
09-19 3万+
假设神经网络结构如下图所示：有2个输入单元；隐含层为2个神经元；输出层也是2个神经元，隐含层和输出层各有1个偏置。 为了直观，这里初始化权重和偏置量，得到如下效果： ----前向传播---- 隐含层神经元h1的输入： 代入数据可得： 假设激励函数用logistic函数，计算得隐含层神经元h1的输出： 同样的方法，可以得到隐含层神经元h
CNN中的前向传播 及其Python代码实现
Norstc的博客
11-06 2285
符号约定 A表示卷积的结果矩阵，W表示滤波器（filter）矩阵，b表示偏置（bias）矩阵，stride表示卷积步长，nh nw分别表示矩阵的高和宽，nc表示通道（channel）数，也就是矩阵的第三维 推导 见如下图，其中prev表示上层卷积结果 下面是层间的关系表达式 前向传播函数Python代码 def conv_forward(A_prev,W,b,hpar...
BP——反向传播算法公式推导及代码
09-20
下面我将给出反向传播算法的公式推导及示例代码。 1. 反向传播算法公式推导： 首先，定义神经网络的损失函数为L，该函数是由网络输出和真实标签之间的差异计算得出。假设神经网络有多个隐藏层，每个隐藏层的参数为W...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值