初识卷积神经网络

参考资料：北京大学MOOC

卷积概述

卷积就是特征提取器
卷积神经网络就是借助卷积核提取特征后，送入全连接网络

卷积（Convolutional）

1.一般会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中的每个像素点。每一个步长，卷积核会与输入特征图出现重合区域，重合区域对应元素相乘、求和再加上偏置项得到输出特征的一个像素点
2.输入特征图的深度（channel数），决定了当前层卷积核的深度（这两个深度必须一致）
有几个卷积核就有几个当前输入特征图，当前层卷积核的个数，决定了当前层输出特征图的深度。特征提取能力可由增加卷积核个数而增加

以单通道为例的计算过程

感受野（Receptive Field）

卷积神经网络各输出特征图中的每个像素点，在原始输入图片上映射区域的大小。

5x5x1的输入特征，经过2次3x3x1的卷积过程感受野是5；经过1次5x5x1的卷积过程感受野也是5，感受野相同，则特征提取能力相同。

经计算当输入特征图边长大于10像素点时，两层3x3的卷积核比一层5x5的卷积性能要好（在提取特征能力相同时，所需计算要更少），因此在神经网络卷积计算过程中常采用两层3x3的卷积代替已成5x5的卷积。

全0填充

当需要卷积计算保持输入特征图的尺寸不变则使用全零填充，在输入特征的周围用零填充

构建卷积层

kernel_size如果卷积核长宽相等直接写边长整数，或者以数组形式给出高和宽（高和宽一般相等）
activation这里如果后续有批标准化操作（下一个就介绍），就不写

用第三种可读性比较强

批标准化（BN）

神经网络对0附近的数据更敏感，单随网络层数的增加特征数据会出现偏离0均值的情况
为解决此问题提出批标准化
标准化可以是数据重新回归到标准正态分布
常用在卷积操作和激活操作之间

标准化：使数据符合0均值，1为标准差的分布。
批标准化：对一小批数据（batch），做标准化处理。

批标准化后


由以上，激活函数完全满足正态分布

批标准化操作将原本偏移的特征数据重新拉回到0均值，使进入到激活函数的数据分布在激活函数线性区使得输入数据的微小变化更明显的提现到激活函数的输出，提升了激活函数对输入数据的区分力。但是这种简单的特征数据标准化使特征数据完全满足标准正态分布。集中在激活函数中心的线性区域，使激活函数丧失了非线性特性。
因此在BN操作中为每个卷积核引入了两个可训练参数，缩放因子（如下）γ \gammaγ和偏移因子β \betaβ。反向传播时缩放因子γ \gammaγ和偏移因子β \betaβ会与其他带训练参数一同被训练优化，使标准状态分布后的特征数据。通过缩放因子和偏移因子优化了特征数据分布的宽窄和偏移量。保证了网络的非线性表的力。

应用实例

池化（Pooling）

目的：池化用于减少特征数据量。
最大值池化（上）可提取图片纹理，均值池化（下）可保留背景特征。

应用实例

舍弃(Dropout)

目的：为了缓解神经网络过拟合
在神经网络训练时，将隐藏层的部分神经元按照一定概率从神经网络中暂时舍弃。神经网络使用时，被舍弃的神经元恢复链接。