卷积神经网络

简而言之，卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家Yann LeCun，目前在Facebook工作，他是第一个通过卷积神经网络在MNIST数据集上解决手写数字问题的人。

如上图所示，卷积神经网络架构与常规人工神经网络架构非常相似，特别是在网络的最后一层，即全连接。此外，还注意到卷积神经网络能够接受多个特征图作为输入，而不是向量。

二、卷积网络的层级结构

一个卷积神经网络主要由以下5层组成：

• 数据输入层/ Input layer
• 卷积计算层/ CONV layer
• ReLU激励层 / ReLU layer
• 池化层 / Pooling layer
• 全连接层 / FC layer

1. 数据输入层

该层要做的处理主要是对原始图像数据进行预处理，其中包括：

• 去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
• 归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
• PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化

2. 卷积计算层

这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。
在这个卷积层，有两个关键操作：

• 局部关联。每个神经元看做一个滤波器(filter)
• 窗口(receptive field)滑动， filter对局部数据计算

先介绍卷积层遇到的几个名词：

• 深度/depth（解释见下图）
• 步幅/stride （窗口一次滑动的长度）
• 填充值/zero-padding

使用卷积神经网络可大大降低参数量：共享参数机制、多种池化方法

平移不变性 不管检测对象出现在图像中的哪个位置，神经网络的前面几层都应该对相同的图像区域具有相似的反应。

局部性 神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。

卷积层将输入和卷积核进行交叉相关，加上偏移后得到输出 核矩阵和偏移是可学习的参数 核矩阵的大小是超参数

填充：在输入周围添加额外的行 / 列

填充p_ℎ行和p_w列，则输出为：(n_ℎ−k_ℎ+p_ℎ+1)×(n_w−k_w+p_w+1)

通常取p_ℎ=k_ℎ−1     p_w=k_w−1

通常填充元素是0

步幅是指行/列的滑动步长

总结：填充和步幅可以改变输出的高度和宽度 填充在输入周围添加额外的行/列，增加输出的高度和宽度 步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状 填充和步幅可用于有效地调整数据的维度。

LeNet 架构

总体来看，LeNet（LeNet-5）由两个部分组成： • 卷积编码器：由两个卷积层组成； • 全连接层密集块：由三个全连接层组成； 每个卷积层使⽤5×5卷积核和一个sigmoid激活函数。

总结：• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。 • 今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。 • 新加入了Dropout、ReLU、最大池化层和数据增强