大小 池化层_卷积神经网络中的卷积层以及池化层的前向反向传播的尝试推导...

这段时间开始学习深度学习，看完了吴恩达老师的深度学习视频，在做课后习题的时候遇到了很多概念上的不清晰，主要是数学上的公式如何具体应用在矩阵中这个环节让我非常模糊，于是看了很多资料，这篇文章就是简单记录下推导过程以及自己欠缺的地方。

首先就是基础非常不扎实！仅仅是看了卷积神经网络就想手写一个网络，欠缺了非常多机器学习的知识，这样就像盲人摸象一样，仅仅只知道一个大概而无法联想和形成概念，目前在准备考研，所以也只能晚上抽空看看相关的资料自己学习下，并且因为参与了老师的一个科研项目，图像识别这一块也是要尽快掌握的，所以在此希望自己白天努力复习考研，同时晚上多充实自己，争取两方面都能做好。

废话不多说，开始写写这几天我到底干了什么。简单了解过卷积神经网络的人应该对于padding，卷积层，池化层，全连接层以及训练过程:前向传播和反向传播。上面几个名词的顺序就是一个简单的CNN网络的构成顺序，并且一次前向传播和一次反向传播就构成了一次训练迭代的过程。

具体的概念就不在此解释，因为想要入门的同学还是推荐去看吴恩达老师的视频入门.

传送门在此:https://www.coursera.org/learn/neural-networks-deep-learning

1. 首先是padding操作，padding操作就是在本来由像素构成的图像周围增加一些为0的像素点，扩展整个照片的大小，因为卷积的操作就是在局部提取照片的各种特征，如果没有padding的话，那么有可能就会损失一些图像边缘的重要信息。具体表现如下

2. 卷积层的操作其实就是对图像特征的提取，可以通过一张图来看出卷积是怎么样操作的

可以看到，我们通过一个小的矩阵(也叫filter过滤器)将原来图片中的一个局部区域映射到后面的一个像素点(这取决于你的卷积操作)，这样子就能做到提取特征的效果，同样也有一张图表示

3. 然后就是池化层，其实池化就是压缩一张图片的数据以及降低参数数目，同时也可以一定程度上避免出现数据过拟合的情况，举个例子，现在有一张256*256的灰度图，那么我们就有256*256个参数，通过池化层就可以降低参数，看图

4. 前向传播和反向传播，我们通过卷积以及池化的操作，最后得到一个输出，将这个输出根据损失函数做比较，通过链式法则求求导去更新参数，就能达到训练的目的

接下来就开始做公式推导了！首先先弄清楚一些参数所代表的意思

首先假设我们有一个四维的张量(2，4，4，1)作为输入矩阵，然后有两个神经元，每个神经元都以这两个样本作为输入，所以就会有四个卷积核在卷积层做卷积操作，其中w1,w2,w3,w4就是四个卷积核

假设我们现在设置的卷积核的大小为2*2，步长为1，(stride=1)，那么整个卷积层就是(2,2,1,4)

通过之前解释过的卷积运算，可以得出经过一个卷积核，我们可以得到四个不同的3*3的矩阵，所以通过卷积层之后我们的输出层就是(2,3,3,4)，我认为矩阵之间的维度变换非常重要，这也是困扰了我很久的点，这里的表述可能有点问题，但通过上面的参数解释应该能理解。

此时就是池化层，假设我们采用最大池化法，并且为2*2，所以经过池化层之后，我们可以得到四个2*2的矩阵，所以池化层的输出矩阵是(2,2,2,4)，这个时候我们再用sigmond函数对输出矩阵进行激活，得到最后的预测结果，要注意的是，是对矩阵的每一项进行激活，然后经过全连接层得到输出。

至此我们就已经基本上进行了一次前向传播了，然后就是困扰了我很久的反向传播，因为重点主要是池化层以及卷积层的反向传播，所以我们就直接从池化层的反向传播开始，首先先规定一下字母代表的含义，Z为卷积层的输出函数，A为激活函数的输出，L为损失函数，首先根据公式求出

dL/dA = (-y/A + (1-y)/(1-A) #这里的y为标签值，即希望输出的结果

这个时候通过公式对池化层的结果进行更新，就是将池化层的输出矩阵带入运算得出一个对应的矩阵，然后根据最大池化层的反向传播策略，将该矩阵扩大到原来的矩阵规模，比如说我们原来是3*3，然后池化层得到的2*2的输出矩阵，反向传播的时候就要根据策略重新将2*2的导数矩阵扩大到3*3，然后就到了激活层的反向传播了，根据公式

dA/dZ = A(1-A) #此时的A为之前扩大的3*3矩阵

此时再通过该公式反向计算出激活层的输入矩阵(导数矩阵)，一样也是3*3大小，这个时候就到了卷积层的反向传播了。根据公式

dZ/dW = x # 这里的x是指每次卷积的输入矩阵大小，最后的导数矩阵应该是所有每次输入矩阵的和 

其实梯度下降就是求L损失函数对于W、B的偏导数，然后利用学习率对W，B更新，所以由于链式法则，我们需要分别求出每一部分的导数，然后在每一层分别相乘，最后更新W,B。

时间仓促，不允许我在做更详细的解释和更具体的例子说明，如果未来有空的话我希望自己能用numpy手写一个手写体识别的神经网络来验证自己对于卷积神经网络的理解。

继续加油！别偷懒！