博客园刘建平Pinard神经网络博文摘要: CNN

CNN

卷积神经网络(CNN)模型结构

1. CNN的基本结构

　　　　首先我们来看看CNN的基本结构。一个常见的CNN例子如下图：

　　　　图中是一个图形识别的CNN模型。可以看出最左边的船的图像就是我们的输入层，计算机理解为输入若干个矩阵，这点和DNN基本相同。

　　　　接着是卷积层（Convolution Layer）,这个是CNN特有的，我们后面专门来讲。卷积层的激活函数使用的是ReLU。我们在DNN中介绍过ReLU的激活函数，它其实很简单，就是 𝑅𝑒𝐿𝑈(𝑥)=𝑚𝑎𝑥(0,𝑥)。在卷积层后面是池化层(Pooling layer)，这个也是CNN特有的，我们后面也会专门来讲。需要注意的是，池化层没有激活函数。

　　　　卷积层+池化层的组合可以在隐藏层出现很多次，上图中出现两次。而实际上这个次数是根据模型的需要而来的。当然我们也可以灵活使用使用卷积层+卷积层，或者卷积层+卷积层+池化层的组合，这些在构建模型的时候没有限制。但是最常见的CNN都是若干卷积层+池化层的组合，如上图中的CNN结构。

　　　　在若干卷积层+池化层后面是全连接层（Fully Connected Layer, 简称FC），全连接层其实就是我们前面讲的DNN结构，只是输出层使用了Softmax激活函数来做图像识别的分类，这点我们在DNN中也有讲述。

　　　　从上面CNN的模型描述可以看出，CNN相对于DNN，比较特殊的是卷积层和池化层，如果我们熟悉DNN，只要把卷积层和池化层的原理搞清楚了，那么搞清楚CNN就容易很多了。

2. 初识卷积

　　　　首先，我们去学习卷积层的模型原理，在学习卷积层的模型原理前，我们需要了解什么是卷积，以及CNN中的卷积是什么样子的。

　　　　大家学习数学时都有学过卷积的知识，微积分中卷积的表达式为：

3. CNN中的卷积层

　　　　有了卷积的基本知识，我们现在来看看CNN中的卷积，假如是对图像卷积，回想我们的上一节的卷积公式，其实就是对输入的图像的不同局部的矩阵和卷积核矩阵各个位置的元素相乘，然后相加得到。

　　　最终我们得到卷积输出的矩阵为一个2x3的矩阵S。

　　　　再举一个动态的卷积过程的例子如下：

　　　　我们有下面这个绿色的5x5输入矩阵，卷积核是一个下面这个黄色的3x3的矩阵。卷积的步幅是一个像素。则卷积的过程如下面的动图。卷积的结果是一个3x3的矩阵。

　　　　上面举的例子都是二维的输入，卷积的过程比较简单，那么如果输入是多维的呢？比如在前面一组卷积层+池化层的输出是3个矩阵，这3个矩阵作为输入呢，那么我们怎么去卷积呢？又比如输入的是对应RGB的彩色图像，即是三个分布对应R，G和B的矩阵呢？

　在斯坦福大学的cs231n的课程上，有一个动态的例子，链接在这。建议大家对照着例子中的动图看下面的讲解。==> the example is simple and clear, make sure to check it out.

　　　　大家打开这个例子可以看到，这里面输入是3个7x7的矩阵。实际上原输入是3个5x5的矩阵。只是在原来的输入周围加上了1的padding，即将周围都填充一圈的0，变成了3个7x7的矩阵。

　　　　例子里面使用了两个卷积核，我们先关注于卷积核W0。和上面的例子相比，由于输入是3个7x7的矩阵，或者说是7x7x3的张量，则我们对应的卷积核W0也必须最后一维是3的张量，这里卷积核W0的单个子矩阵维度为3x3。那么卷积核W0实际上是一个3x3x3的张量。同时和上面的例子比，这里的步幅为2，也就是每次卷积后会移动2个像素的位置。

　　　　最终的卷积过程和上面的2维矩阵类似，上面是矩阵的卷积，即两个矩阵对应位置的元素相乘后相加。这里是张量的卷积，即两个张量的3个子矩阵卷积后，再把卷积的结果相加后再加上偏倚b。

　　　　7x7x3的张量和3x3x3的卷积核张量W0卷积的结果是一个3x3的矩阵。由于我们有两个卷积核W0和W1，因此最后卷积的结果是两个3x3的矩阵。或者说卷积的结果是一个3x3x2的张量。

　　　　仔细回味下卷积的过程，输入是7x7x3的张量，卷积核是两个3x3x3的张量。卷积步幅为2，最后得到了输出是3x3x2的张量。如果把上面的卷积过程用数学公式表达出来就是：

==> remember n_in as the degree of the last dimension of the input tensor, otherwise the meaning can be ambiguous. 

==>ReLU dichotomized the dataset with 0 and pos.

4. CNN中的池化层

　　　　相比卷积层的复杂，池化层则要简单的多，所谓的池化，个人理解就是对输入张量的各个子矩阵进行压缩。假如是2x2的池化，那么就将子矩阵的每2x2个元素变成一个元素，如果是3x3的池化，那么就将子矩阵的每3x3个元素变成一个元素，这样输入矩阵的维度就变小了。

　　　　要想将输入子矩阵的每nxn个元素变成一个元素，那么需要一个池化标准。常见的池化标准有2个，MAX或者是Average。即取对应区域的最大值或者平均值作为池化后的元素值。

　　　　下面这个例子采用取最大值的池化方法。同时采用的是2x2的池化。步幅为2。

　　　　首先对红色2x2区域进行池化，由于此2x2区域的最大值为6.那么对应的池化输出位置的值为6，由于步幅为2，此时移动到绿色的位置去进行池化，输出的最大值为8.同样的方法，可以得到黄色区域和蓝色区域的输出值。最终，我们的输入4x4的矩阵在池化后变成了2x2的矩阵。进行了压缩。

 

5. CNN模型结构小结

　　　　理解了CNN模型中的卷积层和池化层，就基本理解了CNN的基本原理，后面再去理解CNN模型的前向传播算法和反向传播算法就容易了。下一篇我们就来讨论CNN模型的前向传播算法。

当然我们也可以灵活使用使用卷积层+卷积层，或者卷积层+卷积层+池化层的组合，这些在构建模型的时候没有限制。但是最常见的CNN都是若干卷积层+池化层的组合

==> convolution + ReLU is considered a "filter" ==> pick out pixel (blocks) of interest

==> pooling is a compression method ==> most of the data from a graph or a text excerpt could be repetitive or useless, compressing neighboring data block could help to extract prominent features and reduce workload.

===> consider typical compression method by vectorized pictures; pooling is a similar method, it makes guesses instead of actually glossing over the data as the compression algorithm does.

 

卷积神经网络(CNN)前向传播算法

1. 回顾CNN的结构

　　　　在上一篇里，我们已经讲到了CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图像识别再从感官上回顾下CNN的结构。图中的CONV即为卷积层，POOL即为池化层，而FC即为DNN全连接层，包括了我们上面最后的用Softmax激活函数的输出层。

　　　　从上图可以看出，要理顺CNN的前向传播算法，重点是输入层的前向传播，卷积层的前向传播以及池化层的前向传播。而DNN全连接层和用Softmax激活函数的输出层的前向传播算法我们在讲DNN时已经讲到了。

2. CNN输入层前向传播到卷积层

　　　　输入层的前向传播是CNN前向传播算法的第一步。一般输入层对应的都是卷积层，因此我们标题是输入层前向传播到卷积层。

　　　　我们这里还是以图像识别为例。

　　　　先考虑最简单的，样本都是二维的黑白图片。这样输入层 𝑋 就是一个矩阵，矩阵的值等于图片的各个像素位置的值。这时和卷积层相连的卷积核 𝑊 就也是矩阵。

　　　　如果样本都是有RGB的彩色图片，这样输入 𝑋 就是3个矩阵，即分别对应R，G和B的矩阵，或者说是一个张量。这时和卷积层相连的卷积核 𝑊 就也是张量，对应的最后一维的维度为3.即每个卷积核都是3个子矩阵组成。

　　　　同样的方法，对于3D的彩色图片之类的样本，我们的输入 𝑋 可以是4维，5维的张量，那么对应的卷积核 𝑊 也是个高维的张量。

　　　　不管维度多高，对于我们的输入，前向传播的过程可以表示为：

                                      

其中，上标代表层数，星号代表卷积，而b代表我们的偏倚, 𝜎 为激活函数，这里一般都是ReLU。

　　　　和DNN的前向传播比较一下，其实形式非常的像，只是我们这儿是张量的卷积，而不是矩阵的乘法。同时由于 𝑊 是张量，那么同样的位置，𝑊 参数的个数就比DNN多很多了。

　　　　为了简化我们的描述，本文后面如果没有特殊说明，我们都默认输入是3维的张量，即用RBG可以表示的彩色图片。

　　　　这里需要我们自己定义的CNN模型参数是：

　　　　1） 一般我们的卷积核不止一个，比如有K个，那么我们输入层的输出，或者说第二层卷积层的对应的输入就K个。

　　　　2） 卷积核中每个子矩阵的的大小，一般我们都用子矩阵为方阵的卷积核，比如FxF的子矩阵。

　　　　3） 填充padding（以下简称P），我们卷积的时候，为了可以更好的识别边缘，一般都会在输入矩阵在周围加上若干圈的0再进行卷积，加多少圈则P为多少。==> 0 pixel block value ==> not part of the graph

　　　　4） 步幅stride（以下简称S），即在卷积过程中每次移动的像素距离大小。usually: j++ --> move right first; j.reset(), i++ --> then starting from the head again, move down 

　　　　这些参数我们在上一篇都有讲述。

3. 隐藏层前向传播到卷积层

　　　　现在我们再来看普通隐藏层前向传播到卷积层时的前向传播算法。

　　　　假设隐藏层的输出是M个矩阵对应的三维张量，则输出到卷积层的卷积核也是M个子矩阵对应的三维张量。这时表达式和输入层的很像，也是

==> go back to the linked example: m * n * M tensor will have M (m*n)-matrices ==> we add their conv result up to acquire a new input matrix, say x * y

===> then if we have K conv-kernel, then the output/input tensor is x*y*K

4. 隐藏层前向传播到池化层

　　　　池化层的处理逻辑是比较简单的，我们的目的就是对输入的矩阵进行缩小概括。比如输入的若干矩阵是NxN维的，而我们的池化大小是kxk的区域，则输出的矩阵都是 𝑁/𝑘 × 𝑁/𝑘 维的。

　　　　这里需要需要我们定义的CNN模型参数是：

　　　　1）池化区域的大小k

　　　　2）池化的标准，一般是MAX或者Average。

==> ！！by the description of the compressed size, it seems that the convention is to choose S = k

==> it's probably pointless to introduce padding here. 

5. 隐藏层前向传播到全连接层

　　　　由于全连接层就是普通的DNN模型结构，因此我们可以直接使用DNN的前向传播算法逻辑，即：

                                                            

这里的激活函数一般是sigmoid或者tanh。==> for classification

　　　　经过了若干全连接层之后，最后的一层为Softmax输出层。此时输出层和普通的全连接层唯一的区别是，激活函数是softmax函数。

　　　　这里需要需要我们定义的CNN模型参数是：

　　　　1）全连接层的激活函数

　　　　2）全连接层各层神经元的个数

 6. CNN前向传播算法小结

　　　　有了上面的基础，我们现在总结下CNN的前向传播算法。

　　　　输入：1个图片样本，CNN模型的层数 L 和所有隐藏层的类型，对于卷积层，要定义卷积核的大小 数量 K，卷积核子矩阵的维度F*F （==> specify the dimension of the kernel tensor），填充大小P，步幅S。对于池化层，要定义池化区域大小 k*k 和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。

　　　　

 

卷积神经网络(CNN)反向传播算法

1. 回顾DNN的反向传播算法

2. CNN的反向传播算法思想

　　　　要套用DNN的反向传播算法到CNN，有几个问题需要解决：

　　　　1）池化层没有激活函数，这个问题倒比较好解决，我们可以令池化层的激活函数为 𝜎(𝑧)=𝑧，即激活后就是自己本身。这样池化层激活函数的导数为1.

　　　　2）池化层在前向传播的时候，对输入进行了压缩，那么我们现在需要向前反向推导𝛿^(𝑙−1)，这个推导方法和DNN完全不同。

　　　　3) 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出，这和DNN很不相同，DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候，上一层的𝛿^(𝑙−1) 递推计算方法肯定有所不同。

　　　　4）对于卷积层，由于 𝑊 使用的运算是卷积，那么从 𝛿^𝑙 推导出该层的所有卷积核的 𝑊, 𝑏 的方式也不同。

　　　　从上面可以看出，问题1比较好解决，但是问题2,3,4就需要好好的动一番脑筋了，而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是，DNN中的最终和隐藏输出都只是一个向量，而我们CNN中的 𝑎^𝑙, 𝑧^𝑙 都是一个张量，这个张量是三维的，即由若干个输入的子矩阵组成。

　　　　下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。

　　　　在研究过程中，需要注意的是，由于卷积层可以有多个卷积核，各个卷积核的处理方法是完全相同且独立的，为了简化算法公式的复杂度，我们下面提到卷积核都是卷积层中若干卷积核中的一个。

More examples for the next sections: https://www.cnblogs.com/WSX1994/p/11230121.html

Pooling层反向传播需要保证传递的loss（或者梯度）总和不变。根据这条原则，mean pooling和max pooling的反向传播也是不同的。

==> the principle means we can recover the current layer after taking gradient

MAX POOLING：

如果是MAX，假设我们之前在前向传播时记录的最大值位置分别是左上，右下，右上，左下，则转换后的矩阵为： 
 

举个例子：

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个变量就是记录最大值所在位置的，因为在反向传播中要用到，那么假设前向传播和反向传播的过程就如下图所示 ：

 

Average POOLING
如果是Average，则进行平均，转换后的矩阵为： 

举个例子：

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变

==> we only care about keeping the same value as the actual residue; here we sum up the block; ==> it's simply more convenient that dup the residue to all block pos and take average, which, granted is a better representation of the compression, which we do not care.

3. 池化层误差逆推（Gradient is 1）

4. 卷积层误差逆推

==> for m by n matrices rot180() ==> rot the diagonal by 180-deg ==> or practically: swap(row_i  row_m-i); swap(col_j, col_n-j)

5. 卷积层梯度（W，b）

6. CNN反向传播算法总结

　　　　现在我们总结下CNN的反向传播算法，以最基本的批量梯度下降法为例来描述反向传播算法。

　　　　输入：m个图片样本，CNN模型的层数 L 和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。（extra for backward）梯度迭代参数迭代步长 𝛼 ,最大迭代次数MAX与停止迭代阈值𝜖

（欢迎转载，转载请注明出处。欢迎沟通交流： liujianping-ok@163.com） 

参考资料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial

4）CS231n Convolutional Neural Networks for Visual Recognition, Stanford