卷积神经网络基础

卷积神经网络基础

进化史

图像分类、目标定位、目标识别、语义分割、实例分割、关键点检测

基本概念

特征提取

填充

通过在矩阵的边界上填充一些值，以增加矩阵的大小，通常使用0或者复制边界像素来进行填充

步长

卷积的步长默认为1，卷积核每移动1位进行一次乘加运算，当卷积步长为stride时，卷积核沿各个方向每移动stride步，进行1次乘加运算，对于图像这种维数很高的数据计算时，如果卷积步长为1，进行1次卷积运算就需要非常大的运算量，而且相邻的数据中有大量冗余的数据，这种计算并不会对特征的提取有太多好处。

多通道卷积

对于图像，如彩色图像，通常拥有RGB三个通道，对多个通道的进行的卷积即为多通道卷积，多通道卷积可以是各个通道与各个卷积核的对应卷积，也可以是综合的各种卷积。

池化

由于卷积后的图像数据其维度仍然很高，仍然不便于进行更高维度特征的提取，使用局部统计特征，如均值或最大值的方法，提取特征，此过程称为池化，属下采样方法。

卷积神经网络结构

构成：卷积神经网络：由多个卷积层和下采样层构成，后面可连接全连接网络
卷积层：k个滤波器
下采样层：采用mean或max池化层，目前的神经网络多采用最大值池化的方法，平均值池化并不会带来比最大值池化更高的性能，但是其计算量却比较大

LeNet-5 网络

网络结构

该网络与现在网络的区别：

• 卷积时不进行填充
• 池化层采用平均池化而非最大值池化
• 非线性激活函数采用Sigmoid或tanh而非ReLU
• 该网络的层数较浅，参数数量小

神经网络的普遍规律：随着网络深入，宽、高衰减，通道数增加。这是因为随着神经网络的深入，网络提取到特征的层次越来越高。

基本卷积神经网络