深度学习卷积神经网络笔记

在使用全连接层时，存在着参数量过多，内存占有量过大的问题，限制了神经网络朝着更深的层数发展，以此卷积神经网络得到了发展。充分利用了局部相关和权值共享的思想，大大的减少了参数量，提高了训练的准确率，在计算机视觉方面得到了应用。

convolutions（卷积）

卷积就是特征提取器。
Vertical edge detection filter
[1 0 -1
1 0 -1
1 0 -1]
Horizontal edge detection filter
[1 1 1
0 0 0
-1 -1 -1]
Sobel filter
[1 0 -1
2 0-2
1 0 -1]
与信号上所学习的卷积相类似，就是对应位置上做乘法做加法，在深度学习中，由于镜像的影响不大，所以忽略了这个步骤。
随着卷积的加深，图片会越来越小，而channels会越来越多。

padding（填充）

若有一个n×n的矩阵，与一个f×f的矩阵卷积，结果得到（n-f+1）×（n-f+1）的矩阵，这样会引发两个问题一个是shrinking output，另一个是 throwing away a lot of information，所以为了解决，在图像的边缘再填充一层像素，可以用0来填充 ，若填充的层数为p，则最后得到（n-f+1+2p）×(n-f+1+2p)。
根据填充多少来区分 分为
Valid convolution（不填充）
Same convolution：pad so that output size is the same as the input size 计算得p=(f-1)/2 由此可以看出f通常为奇数的，很少看到一个偶数的滤波器。

Strided convolutions（卷积步长）

n×n的矩阵与f×f的相卷积，padding为p，stride为s，
输出为 （n+2p-f）/s+1*（n+2p-f）/s+1 如果计算结果是非整数，则选择向下取整。
当信息密度比较大时，应较密集的布置感受野窗口，所以步长应设置的小一些；当信息密度比较小时，适当减少感受野窗口的数量，步长应设置的大一些。

pooling（池化）

池化就相当于信号中所学习的采样。
By pooling to reduce the size of their representation ,to speed up computation,as well as to make some of the features it detects a bit more robust
Type:max pooling 将一个4×4的矩阵上下左右对折分为四份，然后池化后输出一个2*2的矩阵，输出的每一个元素都是其对应区域中的最大值，（若输出的是平均值，则是average pooling,不太常用）
前面的公式n×n的矩阵与f×f的相卷积，padding为p，stride为s，输出为 [（n+2p-f）/s+1]×[（n+2p-f）/s+1]也同样适用于pooling
Pooling的超级参数有过滤器filter的大小f和步幅stride的值s。常用参数f取值为2，s的取值为2，相当于宽度和高度各缩减一半 。一般在pooling时，不会使用padding。
在pooling中，没有参数需要学习。大部分情况下均指定为2。
对于这些超参数的设置，常规做法是 不是自己设置超参数，而是查看文献中别人采用了那些超级参数，选一个在别人任务中效果很好的架构。

batchnormalization（批标准化）

网络层数的加深会使得网络训练变得十分不稳定，甚至出现网络长时间不更新甚至不收敛的情况。加入了BN层后，网络的超参数设置的更加自由，并且收敛速度快，性能更好。卷积层，BN层，Activation层，pooling层一度成为了网络的标配单元。

经典卷积网络

1）Alexnet有2012年提出，获得了当年ImageNet的冠军。网络结构如下。

2）VGG系列
VGG系列没有太多的超参数 只需要专注于构建卷积层的简单网络
Conv=3×3filter，s=1，same padding
Max—pooling=2×2 s=2 。目前VGG16与VGG19仍然使用广泛
VGG16结构如下

3）GoogleNet
提出了1×1卷积核，可以不改变特征图的宽和高，仅对通道数进行改变，采用模块化的思想，通过大量堆叠Inception模块，形成了复杂的网络结构。
4）ResNet（残差网络）
很深很深的深度网络是很难训练的，因为存在着梯度消失和梯度爆炸的问题。
ResNets有残差块构建的 using ResNets may train more deeper neural networks