神经网络浅学2

第二部分：卷积神经网络

CNN是针对图像领域任务提出的神经网络，经理数代人的发展，在2012年之后，大部分图像识别任务都被CNN同志，分类、分割、检测、检索等

猫的视觉系统实验的结论：

1、神经元存在局部感受区域，也成为感受野。

2、细胞对角度有选择性。

3、细胞对运动方向有选择性。

由猫的视觉实验对卷积神经网络的启发：

1、视觉系统是分层、分级的进行处理，从低级到高级的抽象过程。（堆叠使用卷积和池化）

2、神经元实际上是存在局部感受区域的，具体来说就是局部敏感。（神经元局部连接）

第一个CNN雏形------新认知机（Neocognitron）

第一个大规模商用CNN------ Lenet-5

第一个震惊四方的CNN------ AlexNet

卷积层：

图像识别的特点

1· 特征具有局部性

比如说老虎和猫的区别在于“王”仅出现在头部区域。只需要观察图片的某个区域就可以完成图像分类的任务。

2· 特征可能出现在任何位置。

3· 下采样图像，不会改变图像目标。（下采样就是降低图片的分辨率）

针对第一个特点：特征具有局部性

如下图所示，卷积每次仅连接小块区域，这个区域的大小就是卷积核尺寸。左边是全连接，右边是局部链接，右边的参数量比左边减少了10000倍。

针对第二个特点：特征可能出现在任何位置

卷积核参数重复使用（参数共享），在图像上滑动，如下图所示，蓝色图像进行一次卷积后变成绿色图像。

Kernel（卷积核）：具有学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图（feature maps）。 下图是人工设计的卷积核。

 大家看上数第二张图，可以发现，每经过一次卷积，图像的像素就会缩小2，为了使卷积后图像分辨率不变，引入“填充”这一概念：在输入图像周围添加额外的行和列，当然，每次卷积不一定只缩小2像素，这个缩小量取决于步幅。那么什么是步幅呢，看下图：

步幅就是卷积核每一次滑动的行数或列数，步幅控制了输出特征图的大小（会被缩小1/S倍）。

关于彩色图像的多通道（RGB）卷积，可以理解为分别进行三次卷积，然后再相加。这里的卷积核就变成3D张量。如下图：

池化层：

描述下采样、上采样和池化的概念：

下采样：下采样图像，不会改变图像目标，为的是降低计算量，减少特征冗余。

上采样：简单的理解就是把图片进行放大了。在算法中，在我们做图像识别过程中，需要对图像进行像素级别的分类，因此在卷积提取特征后需要通过上采样将feature map 还原到原图中。

池化：一个像素表示一块区域的像素值，降低图像分辨率。如下图所示，池化常见的两种方法，取最大值和取平均值，用最大值或平均值代替这一块区域的像素值。··        

 （现在很少使用池化操作，因为池化只是为了降低图片分辨率，所以可以通过一个步长为2的卷积操作来替代池化操作）

Lenet-5：