神经网络参数更新公式推导（三）——卷积神经网络（CNN）

一、引言

与全连接神经网络不同，卷积神经网络每一层中的节点并不是与前一层的所有神经元节点相连，而是只与前一层的部分节点相连。并且和每一个节点相连的那些通路的权重都是相同的。举例来说，对于二维卷积神经网络，其权重就是卷积核里面的那些值，这些值从上而下，从左到右要将图像中每个对应区域卷积一遍然后将积求和输入到下一层节点中激活，得到下一层的特征图。因此其权重和偏置更新公式与全连接神经网络不通。通过卷积核替代权重矩阵的意义在于：1. 降低的计算量；2. 权重得到共享，降低了参数量。

UFLDL（Unsupervised feature learning and deep learning tutorial）课程只给出了线性回归，Logistic回归，多层神经网络等公式推导，对于CNN只给出了结论，缺乏公式推导过程。

根据《Deep learning》这本书的描述，卷积神经网络有3个核心思想：

1. 稀疏交互（sparse interactions），即每个节点通过固定个（一般等于卷积核元素的数目，远小于前一层节点数）连接与下一层的神经元节点相连; 尽管是稀疏连接，但是在更深层的神经单元中，其可以间接地连接到全部或大部分输入图像。如果采用了步幅卷积或者池化操作，那么这种间接连接全部图像的可能性将会增加。

2. 参数共享（parameter sharing），以2D卷积为例，每一层都通过固定的卷积核产生下一层的特征图，而这个卷积核将从上到下、从左到右遍历图像每一个对应区域；

3. 等变表示（equivariant representations），卷积和参数共享的形式使得神经网络具有平移等变形，即f(g(x))=g(f(x))。另外，pooling操作也可以使网络具有局部平移不变形。局部平移不变形是一个很有用的性质，尤其是当我们只关心某个特征是否出现而不关心它出现的具体位置时。池化可以看作增加了一个无线强的先验，这一层学的函数必须具有对少量平移的不变形。

一般说的神经网络的一层包括了那个仿射变换、探测级的非线性激活函数，和池化操作，如下图所示：

二、预备知识：

1. 二维卷积的计算。需要先将卷积核顺时针翻转180度，然后再和图像中对应位置像素值相乘求和，这样得到的结果才是卷积后特征位置的点。如下图所示：