卷积神经网络的学习理解

卷积学习网络

1.卷积神经网络简介

一般的前馈神经网络权重参数矩阵过大，过拟合风险很高，并且在做图像处理时需要将图像展开为向量，这会丢失一些空间信息，于是在此基础上开发出卷积神经网络作为优化。

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，与普通前馈神经网络不一样的是，卷积神经网络的输入层为图像数据（32x32x3矩阵）而不是将图像数据展开为向量计算，隐含层不再仅仅是神经层简单的线性非线性变换的组合，而是替换成了卷积，池化，全连接多种组合形成的结构。对于提取特征的效果来说，卷积神经网络比一般的前馈神经网络要更好，其计算量也相对更小。

卷积神经网络多应用于计算机视觉，自然语言处理等领域。

2.卷积神经网络结构

1）卷积层

卷积层的功能是对输入数据进行特征提取，提取单元为卷积核，组成卷积核的每一个元素都对应一个权重系数和一个偏置值。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小跟卷积核大小一致，称为“感受野”，卷积层会按照步长大小有规律地扫描输入数据，在感受野内对输入数据和特征矩阵做矩阵点乘求和并加上偏置值，将输入数据的感受野提取成一个特征值。

卷积层在做卷积之前需要输入四个参数：

滑动窗口步长：每次卷积核移动的单元格个数，步长越小，特征图越大

卷积核尺寸：每次进行特征提取的窗口大小，一般为3x3

边缘填充：为了防止边界特征值提取不充分的现象，需要在原始数据边缘填充数据

卷积核个数：决定最终需要得到多少个特征图

根据参数可以计算出经过卷积后特征矩阵的长度和宽度

卷积参数共享：为了保证计算量不太大，降低过拟合风险，规定一个卷积核只使用一个权重参数矩阵

激励层：为了表示复杂特征，卷积层在卷积完成之后会添加一个激活函数协助神经网络表达复杂特征，一般使用RELU函数进行激活

2）池化层

在卷积操作完成之后，为了保证计算量不会太大，会对卷积得到的特征值进行筛选和过滤，对特征矩阵进行压缩，这个操作叫做池化

LP池化：
MAX POOLING：在一定规模的单元格内选取最大的特征值代表这个单元格

AVERAGE POOLING：选择一定规模单元格的平均值

此外，为了让一些非最优值进入下一层卷积，产生了一下两种池化操作

STOCHASTIC POOLING：随机池化

MIXED POOLING：混合池化

3）全连接层

在特征提取结束后，需要对提取到的特征进行总结（归类），计算出模型对特征的最后得分，这个过程是将提取到的特征矩阵映射到一个或多个输出上的过程，所以使用一般前馈神经网络全连接的方式，将特征矩阵向量化之后再做线性变换和非线性变换进行输出。

3.一般卷积神经网络的构筑

Alexnet

缺点：第一步卷积核过大，步长太长，且没有边缘填充，8层卷积神经网络，特征提取不够明显

VGGNet

选中部分为比较主流版本，所有卷积核都为3x3；16层卷积神经网络，更符合现代的计算能力；每次池化完之后特征矩阵有所损失，会通过下一次卷积弥补起来

此外，还有GoogLeNet、LeNet和ResNet等卷积神经网络构筑。