卷积神经网络反向传播理论推导

原创 2017年06月08日 10:44:25

    本文首先简单介绍CNN的结构,并不作详细介绍,若需要了解推荐看CS231n课程笔记翻译:卷积神经网络笔记。本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导,还是有很多细节地方需要思考的,比如1、在前向传播的过程中,卷积层的输入,是通过卷积核与前一层的输出特征图卷积得来的,那么在反向传播的过程中该怎么处理?这个就与全连接神经网络不同了。2、由于在前向传播的时候,池化层会对前一层卷积层进行放缩,那么从池化层到卷积层BP的时候,小尺度的池化层怎么把误差反传到大尺度的卷积层(这里的大小是一般而言,卷积层一张特征图经池化之后尺度会变小)?这个就与全连接神经网络完全不同!3、公式推导中,或者某些库的函数实现过程中,卷积核为什么要翻转180度?ps.本文是根据汇报的PPT更改,里面有很多图和文字就直接截图了,里面的每一个公式都是我和F.Tao讨论和推导过的,如有错误欢迎指正。

    还是先首先贴一张CNN结构图吧,下面这张图个人认为是结构很清晰的,每一层是什么,以及卷积层+池化层和全连接层在做什么工作都表达的很好,来源Google搜索。

    要明白卷积操作是用来干嘛的,是用来提取特征的,反向传播的意义又是什么?因为初始的时候卷积核的值都是随机设定的,我们可以根据前向传播的预测结果,进行误差分析,不断地修改卷积核的值,使得更好的提取特征,就是反向传播的意义。


    对卷积和池化操作直观的理解就如下图:

    对应的网络连接结构图如下所示:
    这里要说明两个概念,一个是卷积,一个是协相关,这两个概念是很多人都不清楚的,以至于把协相关当成了卷积来使用。


    那么卷积层对输入的卷积操作就变成了如下:

    下面一下CNN中的几个注意的点:

   可以从下图中找出对应的连接方式(注:下面的L包含了卷积和池化两个部分,但不妨碍理解):

    下面三张图截取自3D CNN,为了更加详细说明每一层是什么,每一层那个是特征图,那些是神经元。




前向传播:
    这里只说CNN前向传播不同于全连接前向传播的部分,即:输入层到卷积层和卷积层到池化层。

1、输入层到卷积层的前向传播
输入层到卷积层,采用的是局部连接,参数共享,卷积操作的方式,进行计算的,有个最好的说明就是cs231n笔记中的gif图,现展示如下:

    图中有两个卷积核,w0和w1,注:这两个卷积核是已经翻转过的,然后进行协相关操作。由于输入的是3个通道的图片,因此每个卷积核也必须是3个通道的。所谓局部连接、权值共享都在这幅图上体现的淋淋尽致,非常好的表达。
    现作理论推导:



2、卷积层到池化层的前向传播:

    前向传播比较简单,介绍就到这里,下面分析反向传播算法:
    CNN的反向传播其实与全连接神经网络的反向传播有很大不同,只是从最后的输出层到最后一个卷积层的池化层的误差计算方式是相同的,但是从池化层到卷积层,卷积层到输出层(or池化层)的误差传播方式与全连接网络是大不相同的。











参考:
http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/
http://www.cnblogs.com/pinard/p/6494810.html
http://manutdzou.github.io/2016/05/15/CNN-backpropagation.html
版权声明:本文为博主原创文章,转载需注明出处。

神经网络及卷积神经网络的训练——反向传播算法

神经网络的训练过程,就是通过已有的样本,求取使代价函数最小化时所对应的参数。代价函数测量的是模型对样本的预测值与其真实值之间的误差,最小化的求解一般使用梯度下降法(Gradient Decent)或其...
  • taigw
  • taigw
  • 2016年01月31日 00:02
  • 11404

CNN卷积神经网络反向传播机制的理解

最近
  • Vintage_1
  • Vintage_1
  • 2013年12月12日 01:41
  • 8944

CNN卷积神经网络--反向传播(3,初识卷积反向算法)

CNN反向传播求导时的具体过程可以参考论文Notes on Convolutional Neural Networks, Jake Bouvrie,该论文讲得很全面,比如它考虑了pooling层也...
  • ck1798333105
  • ck1798333105
  • 2016年08月30日 14:41
  • 3254

CNN卷积神经网络--反向传播(2,前向传播)

看cnn,首先还是看看前向传播,在细谈反向求导。     CNN的这三个特点是其对输入数据在空间(主要针对图像数据)上和时间(主要针对时间序列数据,参考TDNN)上的扭曲有很强的鲁棒性。CNN...
  • ck1798333105
  • ck1798333105
  • 2016年08月30日 11:35
  • 3316

卷积神经网络(CNN)反向传播算法公式详细推导

在看本篇博文之前,你需要对卷积神经网络有一定的理解,并且能够自主推导出经典BP神经网络反向传播的相关公式。...
  • walegahaha
  • walegahaha
  • 2016年07月18日 20:56
  • 15847

CNN的反向传播推导与理解

参考与说明 本文主要是通过阅读相关论文和一些辅助的博文来理解卷积神经网络里面的反向传播算法;相关的论文可以查看Notes on Convolutional Neural Networks, Jake ...
  • sysushui
  • sysushui
  • 2016年12月04日 21:40
  • 4996

卷积神经网络CNN(重点:反向传播)

卷积神经网络基础: 首先看一下全连接网络,即神经元和相邻层上的每个神经元都连接:    如果我们把图像中的像素点顺序排列作为输入层神经元的值,对于28x28像素的图像,输入神经元有28x28...
  • kyang624823
  • kyang624823
  • 2017年11月25日 20:26
  • 95

深度学习笔记4:卷积层的实现

卷积层的推导 卷积层的前向计算 如下图,卷积层的输入来源于输入层或者pooling层。每一层的多个卷积核大小相同,在这个网络中,我使用的卷积核均为5*5。 如图输入为28*28的图像,经过5*5...
  • l691899397
  • l691899397
  • 2016年08月18日 14:02
  • 16877

卷积神经网络——反向传播算法

神经网络的训练过程,就是通过已有的样本,求取使代价函数最小化时所对应的参数。代价函数测量的是模型对样本的预测值与其真实值之间的误差,最小化的求解一般使用梯度下降法(Gradient Decent)或其...
  • sinoaidi
  • sinoaidi
  • 2017年02月07日 20:21
  • 1043

卷积神经网络反向传播推导

以TensorFlow的卷积神经网络为例卷积-池-卷积-池-全连接-softmax 前向传导C1层:卷积神经网络的输入是28×28的矩阵AA,经过F1F_1个5×5的卷积核K1i(i=1,2,......
  • dchen1993
  • dchen1993
  • 2016年12月22日 21:46
  • 1465
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:卷积神经网络反向传播理论推导
举报原因:
原因补充:

(最多只允许输入30个字)