卷积神经网络（CNN）基础知识

一、边缘检测

1.检测垂直边缘（vertical edges）

（1）检测垂直边缘的卷积核

（2）检测垂直边缘

• 由亮变暗

假设大于0的值表现为白色，等于0的值表现为灰色，小于0的值表现为黑色，如图左边为白色，右边为灰色的区域，由亮向暗过渡，经过卷积核后会表现为中间为白色区域，两边为灰色的区域，及中间的垂直边缘被放大为白色区域。

• 由暗变亮

2.检测水平边缘(horizontal edges)

（1）检测水平边缘的卷积核

（2）检测水平边缘

二、Padding方法

1.普通的卷积操作的不足之处

（1）每次卷积操作，图像都会缩小，可能多次卷积后，图像变得很小。
（2）对一个图像进行卷积，那些在角落或者边缘区域的像素点，在输出中采用较少，意味着丢掉了图像边缘位置的许多信息。

2.Padding方法

        在卷积之前填充图像，在最外围填充一层或多层像素，常见有零填充、镜像填充和复制填充等方法。

3.卷积中两种Padding方法

（1）Valid卷积：

        意味着不填充，（n×n）的图片用（f×f）的卷积核卷积后，图像变为（n-f+1）×（n-f+1）。

（2）Same卷积：填充后保证输出大小和输入大小时一样的。

        对（f×f）的卷积核填充p层，则图像变为（n+2×p-f+1）×（n+2×p-f+1）。

        当p=（f-1）/2 , 有 （n+2×p-f+1）×（n+2×p-f+1）=（n×n）。

4.卷积核的尺寸通常是奇数。

三、卷积步长

1.卷积步长

         卷积步长s：在图像中卷积核移动的长度。

2.卷积后图片尺寸计算公式

四、卷积网络映射参数少的原因

1.参数共享

      特征检测垂直边缘如果使用图片的某个区域，那么它也可能适用其他区域。

      例如，用于检测图片左上角区域的特征，也可能适用检测图片右下角，因此在计算左上角和右下角时，不需要添加其他特征检测器。不仅低阶特征有这样的特点，高阶特征也同样适用。

2.稀疏连接

（1）卷积后得到的某个像素，只与卷积核映射的f × f个像素有关联，与其他像素无关联。

        因此，卷积神经网络可以通过这两种机制减少参数，以便我们用更小的数据集来训练，从而预防过渡拟合。

（2）卷积神经网络善于捕捉平移不变，即使向左右移动的几个像素，图片依然清晰可见，因为即使移动几个像素，这张图片依然具有非常相似的特征，应该属于同样的输出标记。

五、三维卷积

1.图片尺寸计算公式

     

      其中：  为三维图片的通道数，通常为3

                 为卷积核的个数，图中为2个卷积核

2.卷积神经网络的特征

避免过拟合：不论图片多大，卷积层的参数只与卷积核尺寸和偏差项b有关，参数数量固定不变。

如卷积层有10个3×3×3的卷积核，则该层的参数为（27+1）×10=280个，且不随着图片大小改变

3.卷积神经网络第L层中的参数

4.简单卷积神经网络实例

       卷积神经网络随着计算加深，通常开始的图像较大些，高度和宽度会在一段时间内保持一致，然后随着网络深度加深宽度逐渐减少，而通道数量在不断增加。

六、池化层

1.最大池化法 Max pooling

（1）原理

        如果在过滤器中提取到某个特征，那么保留其最大值。

（2）公式

        适用与卷积层的公式同样适用于池化层。

（3）实例

若过滤器为 f×f = 2×2 , 步长 s=2，对4×4图片的池化结果如下：

2.平均池化法 Average pooling

（1）原理

        如果在过滤器中提取到某个特征，那么保留其平均值。

（2）公式

        适用与卷积层的公式同样适用于池化层。   

（3）实例

七、常见卷积神经网络结构

1.超级参数的设置

        大量读文献，参考文章中优秀模型的参数设置，往往效果比较好。

2.模型的参数

（1）池化层（最大池化层或平均池化层）没有参数。

（2）卷积层的参数相对较少，全连接层存在许多参数。

（3）激活值, 随着层数加深激活值Activation的size会减少，如果激活值A下降太快，也会影响网络性能。