卷积神经网络与全连接神经网络相比优势在哪

卷积神经网络

卷积神经网络是目标检测的基础，也是导致图像识别技术得到广泛应用的一大关键技术。其在语音识别技术、计算机视觉等人工智能领域均有广泛应用。是人工智能领域的一大重要基础，其主要是通过卷积的方式在给定的输入数据通过输入层和多层卷积层、激活函数、池化，最后通过全连接层处理前馈计算图像的多种高层次特征，最后根据给定的标签信息利用反向传播的方式不断更新网络中的参数信息，使得模型提取到的特征更加符合该物体的共同特征，从而达到网络自主学习的目的。

1.卷积

在卷积神经网络中，卷积被作为了一种快速特征提取的一种方式，利用该方式解决了当输入数据量过大是导致全连接神经网络中，网络权重数据较多，当层数加深后网络训练参数会剧增对于算力要求巨大，而加入了卷积的概念后导致神经网络有了局部连接与权值共享的优点，通过相对少量的权重数据便可对整个网络层级完成卷积运算。

首先先来了解一下卷积，理解卷积如何实现的局部连接与权值共享。

1.1一维卷积

我们假设有一个9个数据的输入让他下一层的输入维度为6，那么如果我们通过全连接神经网络我们需要对每个输入设置一个神经元那么我们便需要54个权值数据，每个神经元与输入数据全部连接，去重复的提取9个输入的特增信息。如果在这引入卷积的概念。如图1-1所示，我们仅需要，4个权值数据便可以实现对九个数据的数据内容的该特征提取。

可以发现其中我们每个输出只取了其中4个数据的特征进行提取，这便是局部连接的实现。而每次提取数据的特征信息，全部采用了相同的权值（卷积窗）这便是权值共享的实现。而每一个卷积窗提取出的数据又会在后面的卷积过程中不断融合，最后似的数据能够获得较大范围的特征信息。我们在看一张图像时是通过不断扫描的方式去分析图像的局部特征，而不是直接能够分析整张图像。可以发现这种方式对于图像处理来说无疑是巨大的效率提升，在图1-2和图1-3中我们也能看出不同的卷积窗能提取出的特征是不同的，这样能够使我们在第一层网络尽可能提取出我们需要的特征，交给接下来的网络层级进行进一步的分析。

图1-1 一维卷积（一）

图1-2 一维卷积（二）

图1-3 一维卷积（三）

1.2二维卷积

图1-4 二维卷积

二维卷积的形式与一维卷积相识，不过是将原本一维的数组变为了二维矩阵，同样可以利用滑窗的方式去理解，该部分与一维的不同便是滑窗的数据不一定是在同一行的数据，在图1-4中给出了例子，通过神经元图像可以加深理解，每次去提取不同滑窗的数据，我们只需要修改输入的数据便可，当我们采用不同的卷积窗进行数据提取是，才需要去改变神经元的权值。

对于图像来说，我们可以理解为一个三层数组的二维卷积，我们输入的便是rgb三个图层的灰度值信息，相对应的便采用rgb三层的卷积窗去采用二维卷积的方式去遍历整个图像，从而提取出该卷积窗能够提取出的特征信息，而我们需要训练的便是这些卷积窗中的权值，不断对其进行优化，从而得到能够满足我们需要的特征信息。

2.网络组成

2.1输入层

输入层是所有神经网络计算的始端，作为数据与神经网络之间联系的桥梁。其也不是简单将图像信息输入到神经网络。一般输入的图像均为RGB三层图像，所以在将图像数据输入到神经网络时必须让其按照一定的规律实现维度匹配，将图像中的三层灰度值数据全部输入到网络中。此外为了避免输入图像时发生数据单位不匹配问题，一般选择将数据采用归一化的处理方式，将不同单位的数据映射到（0,1）的区间范围中。通过该处理，原本数据中的有效信息被融合到一起，再进入到神经网络接下来的模块进行训练，能够大大降低网络的运算难度，提高运算效率。

2.2卷积层

卷积层是卷积神经网络的核心部分，也是卷积神经网络与普通的全连接神经网络的主要不同之处。其由许多的卷积核组成，通过卷积核对整个图像进行卷积实现对图像特征的提取。与传统的全连接神经网络相比卷积神经网络最大的三个特点是：局部连接、权值共享和采样。由于相比于数据量较小的普通人工神经网络对于图像信息其输入数据量较大，对于一张416*416的RGB图像其就会拥有50多万个数据，若通过全连接神经网络进行多层特征提取，其权值数据量将更大，这大大提高的训练的难度。

（a）全连接神经网络 （b）卷积神经网络 图2-1 神经网络结构

如图2-1所示分别为全连接层与卷积神经网络的单层结构对比。可以明显感觉到卷积的结构更加简单一些，在数据上对于（a）中的全连接神经网络其中两层之间每一个结点都需要两两相连也就是共有35个权重值，5个偏置值。而对于（b）中的卷积神经网络，其每一个下层节点只需要与上层中规定数量的节点相连，并且所以有的节点权重值相互共享，所以该网络仅需要3个权重值，5个偏置即可实现该层的结构。由此可见利用卷积神经网络对图像进行处理能够大大提高网络的训练速度与训练效率。

图2-2 图像卷积过程

由图2-2可以在矩阵层面较为直观的观察卷积的过程。其中卷积的主要参数：卷积核大小为3*3、卷积核移动步长为1、边界填充值为0。在实现卷积的过程主要是通过采用与卷积核大小相同的卷积窗在输入图像上进行由左至右、由上至下的遍历，每次移动卷积窗都将其与卷积核的对应权值对应位相乘后相加得到对应位置的输出结果。其中便利的过程需要考虑边界填充和步长的大小，其中边界填充一般是为了使卷积窗，步长与图像的维度相互匹配；步长也就是滑窗滑动一步移动的像素点的个数。

最后输出图像的维度信息如上式所示。其中 为输出矩阵的维度、 是输入矩阵的维度、 是卷积核的维度、padding是边界填充的数量、stride是步长。需要调整参数值保证输出的尺寸维度为整数。

通过卷积核就像一个筛子去检查区域内是我们需要内容的评分，而训练的过程就是去寻找用那些筛子可以去更好的检测出我们感兴趣的物体。

2.3激活函数

激活函数运算一般在每次卷积计算后，是对卷积和池化等线性运算结果的非线性处理随着人工智能的不断发展现在也出现了各种各样的激活函数，向sigmoid、tanh、RELU等。其中

（1）sigmoid激活函数作为早期广泛使用的激活函数，其公式为：

图2-3 sigmoid激活函数

（2）tanh函数也是常用的一种激活函数，如公式出在（-1，1）开区间内，相对于sigmod函数有了进一步的优化，其收敛速度更快，当输入接近坐标原点时，tanh函数近乎于线性变换、导数近似于1，但是在左右两端仍存在饱和区，仍无法解决由于饱和区带来的梯度消失问题。

图2-4 tanh激活函数

（3）作为目前应用较为广泛的ReLU激活函数，在输入处于正半轴时，不会产生梯度饱和得问题，ReLU激活函数计算激活值时仅仅需要一次简单的线性运算，因此收敛速度近乎6倍于tanh函数，但在反向传播的过程中由于输入可能会有负数，当输入处于负半轴时根据公式可以看出此时系数为0，也就表明此时函数未被激活从而产生梯度消失。ReLU函数存在使部分神经元死亡的问题，但是目前可以通过Xavier方法进行参数的初始化设置，因此ReLU激活函数仍是当前神经网络中使用最为广泛的激活函数。

图2-5 RELU激活函数

2.4池化层

对于卷积神经网络虽然我们采用了卷积的方案使得网络的权重数据量得到了极大的减少，但对于深层的卷积神经网络，其仍然会产生庞大的数据、以及巨大的运算量，并容易发生过拟合的情况。因此需要一种手段将卷积得到的特征数据进行进一步压缩，保留出其中较为重要的信息，将特征图的尺寸减小，减少网络的参数量。由此池化层结构被添加到了卷积神经网络中来，使得卷积神经网络的运算难度得以降低。

池化其实是一种下采样的操作。即将输入特征的某个区域内最具有代表性的数据作为输出，即下一层网络的输入。现阶段常用的池化操作为最大池化和平均池化操作。

最大池化也就是说明我们希望的区域内最具有代表性的数据是最大值。如图2-6对一个4x4的特征矩阵以2x2作为池化窗口大小，2作为步长进行最大池化操作，最后得到一个2x2的特征层矩阵。

图2-6 最大值池化

平均池化操作基本和最大池化操作过程相似，不过其提取的最具代表性的数据变为了划定区域内数据的均值。同样以2x2为池化窗2为步长进行池化过程如图2-7所示。

图2-7平均池化

通过两种池化操作均可对图像进行处理均可对图像的特征矩阵维度降低，但对于最大值池化来说，其关注的是区域内特征值较大的点，可以理解为对某一项较为突出的值感兴趣，而平均池化则是对整个区域内所有的点都有一定的兴趣。如果对于一个图像来说我们可以理解为最大值池化更加关注的是纹理信息，而平均池化更关注的是背景信息。

通过池化将维我们可以理解为是去除的一些不重要的信息或者重复的信息，这些信息对于模型的训练意义不大，而且保留这些信息还会造成算力的浪费，极大降低模型的训练效率。因此通过该层对图像特征数据进行筛选，具有重要的意义。

2.5全连接层

全连接层作为卷积神经网络的最后一层，也就是输出层，该层的作用便是通过运算，将我们无法理解的多次卷积得到的大量特征数据转换为我们能够理解的概率信息，即该层以多种图像特征作为输入，以是否为该物体的概率作为输出。

图2-8 全连接层

图2-8展示了全连接网络的基本结构，在图中输入定义为了n，同样也可以对应多个输出，在此以两个为例。即我们可以理解为，通过提取到的图像的n种特征来对两个物体进行区分。

对于全连接通过矩阵的方式可以看为使用一个与图像相同尺寸的卷积窗对图像进行卷积，但其不会滑动。通过全连接层可以输出图像是1类物体的评分和是2类物体的评分。通过对比两类物体的评分最终的到我们需要的输出。

3.总结

卷积神经网络便是在全连接神经网络的基础上参考了卷积的局部连接与权值共享的概念，将图像通过多层，多核的卷积从图像中提取出能够达到我们分类目的的特征信息。最后在将特征信息交由全连接神经网络去识别出该图像的具体类别信息。

4.下篇预告

下一篇将会手推一个简单的浅层卷积神经网络，来加深对卷积过程的理解。