卷积神经网络(CNN)学习笔记2:举例理解

转载 2016年08月30日 21:28:57

下图是一个经典的CNN结构,称为LeNet-5网络


可以看出,CNN中主要有两种类型的网络层,分别是卷积层池化(Pooling)/采样层(Subsampling)。卷积层的作用是提取图像的各种特征;池化层的作用是对原始特征信号进行抽象,从而大幅度减少训练参数,另外还可以减轻模型过拟合的程度。

卷积层

卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得,卷积核中的每一个参数都相当于传统神经网络中的权值参数,与对应的局部像素相连接,将卷积核的各个参数与对应的局部像素值相乘之和,(通常还要再加上一个偏置参数),得到卷积层上的结果。如下图所示。


下面的动图能够更好地解释卷积过程:


池化/采样层

通过卷积层获得了图像的特征之后,理论上我们可以直接使用这些特征训练分类器(如softmax),但是这样做将面临巨大的计算量的挑战,而且容易产生过拟合的现象。为了进一步降低网络训练参数及模型的过拟合程度,我们对卷积层进行池化/采样(Pooling)处理。池化/采样的方式通常有以下两种:

  • Max-Pooling: 选择Pooling窗口中的最大值作为采样值;
  • Mean-Pooling: 将Pooling窗口中的所有值相加取平均,以平均值作为采样值; 

如下图所示。


LeNet-5网络详解

以上较详细地介绍了CNN的网络结构和基本原理,下面介绍一个经典的CNN模型:LeNet-5网络

其中原始输入图为32*32,卷积核为5*5,则可得C1层的特征图大小为(32-5+1)*(32-5+1)=28*28










转载来源

相关文章推荐

CNN卷积神经网络学习笔记2:网络结构

这篇笔记中,通过一个简单的CNN的例子,梳理一下CNN的网络结构的细节。 以下是一个6层的CNN网络,我们输入的是一张大小为28*28的图片。 需要注意的有: 1,这里输入的是一张图片,如果我们输入了...

卷积神经网络(CNN)学习笔记2:模型训练

卷积神经网络(CNN)学习笔记2:模型训练

卷积神经网络(CNN)学习笔记1:基础入门

卷积神经网络(CNN)学习笔记1:基础入门

tensorflow学习笔记五:mnist实例--卷积神经网络(CNN)

转载自  http://www.cnblogs.com/denny402/p/5853538.html mnist的卷积神经网络例子和上一篇博文中的神经网络例子大部分是相同的。但是CNN层数要...

深度学习笔记五:卷积神经网络CNN(基本理论)

卷积神经网络基本理论

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

本文主要参考于:Multilayer Perceptron   python源代码(github下载  CSDN免费下载)  本文主要介绍含有单隐层的MLP的建模及实现。建议在阅读本博文之前,先看一...

CNN卷积神经网络学习笔记4:代码学习

代码来自github上的一个DeepLearning Toolbox,地址:https://github.com/rasmusbergpalm/DeepLearnToolbox主要参考这篇博客中的代码...

CNN卷积神经网络学习笔记3:权值更新公式推导

在上篇《CNN卷积神经网络学习笔记2:网络结构》中,已经介绍了CNN的网络结构的详细构成,我们已经可以初始化一个自己的CNN网络了,接下来就是要用训练得到一个确定的CNN的模型,也就是确定CNN的参数...

深度学习笔记三-CNN(卷积神经网络)是什么?(续)

网络中的更深处 在传统卷积神经网络架构中,卷积层之间还有其它类型的层。我强烈建议有兴趣的人阅读和它们有关的材料,并理解相应的功能和作用;但总的来说,它们提供的非线性和维度保留有助于提高网络的稳健性(...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)