卷积神经网络研究综述 学习记录

概要

深度学习善于从原始输入数据中挖掘越来越抽象的特征表示，而这些表示具有良好的泛化能力。深度学习是包含多级非线性变换的层级机器学习方法，深层神经网络是目前的主要形式，其神经元间的连接模式受启发于动物视觉皮层组织，而卷积神经网络则是其中一种经典而广泛应用的结构．卷积神经网络的局部连接、权值共享及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化．基于这些优越的特性，它在各种信号和信息处理任务中的性能优于标准的全连接神经网络。

• （１）多隐层的人工神经网络具有优异的特征学习能力；
• （２）可 通 过“逐 层 预 训 练”来有效克服深层神经网络在训练上的困难

ＣＮＮ概述

神经元

神经元是人工神经网络的基本处理单元，一般是多输入单输出的单元，其结构模型如图所示：

其中：ｘｉ表示输入信号；ｎ个输入信号同时输入神经元ｊ．ｗｉｊ表示输入信号ｘｉ与神经元ｊ连接的权重值，ｂｊ表示神经元 的 内 部 状 态 即 偏 置 值，ｙｊ为 神 经 元 的输出．输入与输出之间的对应关系可用下式表示：

ｆ（·）为激励 函 数，其 可 以 有 很 多 种 选 择，可 以 是 线性 纠 正 函 数 ，ｓｉｇｍｏｉｄ函数、ｔａｎｈ（ｘ）函数、径向基函数等。

多层 感 知 器

多层 感 知 器 （ＭｕｌｔｉｌａｙｅｒＰｅｒｃｅｐｔｒｏｎ，ＭＬＰ）是
由输入层、隐含层（一层或者多层）及输出层构成的神经网络模型，它可以解决单层感知器不能解决的线性不可分问题．下图是含有２个隐含层的多层感知器网络拓扑结构图：


当多层感知器用于分类时，其输入神经元个数为输入信号的维数，输出神经元个数为类别数，隐含层个数及隐层神经元个数视具体情况而定．但在实
际应用中，由于受到参数学习效率影响，一般使用不超过３层的浅层模型．ＢＰ算法可分为两个阶段：前向传播和后 向 传 播，其 后 向 传 播 始 于 MLP的 输 出层．以上图为例，则损失函数为:

CNN的引入

１９６２年，生 物 学 家 Ｈｕｂｅｌ和 Ｗｉｅｓｅｌ［２８］通 过 对
猫脑视觉皮层的研究，发现在视觉皮层中存在一系列复杂构造的细胞，这些细胞对视觉输入空间的局部区域很敏感，它们被称为“感受野”．感受野以某种方式覆盖整个视觉域，它在输入空间中起局部作用，因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性。
ＣＮＮ 的基本结构由输入层、卷 积 层（ｃｏｎｖｏｌｕ－ｔｉｏｎａｌｌａｙｅｒ）、池 化 层 （ｐｏｏｌｉｎｇｌａｙｅｒ，也 称 为 取 样层）、全连接层及输出层构成．卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推．由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，ＣＮＮ 也由此而得名。
输入特征面：即输入的图片，可为初始图片，也可为卷积图片，池化图片。

单个的卷积核可认为是一个神经元

卷积核的本质是：三维（长度 * 宽度 * 通道）输入的神经元

由于卷积核在x轴和y轴方向上，其长度都远远小于原始图片本身的长度。

因此，卷积核本身并没有与原始的输入的所有像素相连，而是部分相连，卷积核的参数矩阵的形状，决定了与之连接的输入属性的形状（维度+每个维度的长度）。

特征面即为我们输入的图片，卷积层由多个特征面 (Feature Map) 组成, 每个特征面由多个神经元组成, 它的每一个神经元通过卷积核与上一层特征面的局部区域相连，权重值即为我们卷积核中训练出来的值，卷积核和图像的卷积操作，其实就是卷积核里的权重值单独于图像相应位置的像素进行点乘，然后将点乘完的结果加起来，是为了作用叠加。
由图３可看出卷积层的神经元被组织到各个特征面中，每个神经元通过一组权值被连接到上一层特征面的局部区域，即卷积层中的神经元与其输入
层中的特征面进行局部连接．然后将该局部加权和传递给一个非线性函数如 ＲｅＬＵ 函 数 即 可 获 得卷积层中每个神经元的输出值．在同一个输入特征面和同一个输出特征面中，ＣＮＮ 的 权 值 共 享，如图３所示，权值共享发生在同一种颜色当中，不同颜色权值不共享．通过权值共享可以减小模型复杂度，使得网络更易于训练。

局部连接和权值共享

卷积层最主要的两个特征就是局部连接和权值共享，有些地方又叫做稀疏连接和参数共享，总之都是一个意思。所谓局部连接，就是卷积层的节点仅仅和其前一层的部分节点相连接，只用来学习局部特征。局部感知结构的构思理念来源于动物视觉的皮层结构，其指的是动物视觉的神经元在感知外界物体的过程中起作用的只有一部分神经元。在计算机视觉中，图像中的某一块区域中，像素之间的相关性与像素之间的距离同样相关，距离较近的像素间相关性强，距离较远则相关性就比较弱，由此可见局部相关性理论也适用于计算机视觉的图像处理领域。因此，局部感知采用部分神经元接受图像信息，再通过综合全部的图像信息达到增强图像信息的目的。从下图中我们可以看到，第n+1层的每个节点只与第n层的3个节点相连接，而非与前一层全部5个神经元节点相连，这样原本需要53=15个权值参数，现在只需要33=9个权值参数，减少了40%的参数量，同样，第n+2层与第n+1层之间也用同样的连接方式。这种局部连接的方式大幅减少了参数数量，加快了学习速率，同时也在一定程度上减少了过拟合的可能。

卷积层的另一大特征是权值共享，比如一个33的卷积核，共9个参数，它会和输入图片的不同区域作卷积，来检测相同的特征。而只有不同的卷积核才会对应不同的权值参数，来检测不同的特征。如下图所示，通过权值共享的方法，这里一共只有3组不同的权值，如果只用了局部连接的方法，共需要34=12个权值参数，而加上了权值共享的方法后，现在仅仅需要3个权值，更进一步地减少参数数量。

池化层

池化层紧跟在卷积层之后，同样由多个特征面组成，它的每一个特征面唯一对应于其上一层的一个特征面，不会 改 变 特 征 面 的 个 数。
卷 积 层是池化层的输入层，卷积层的一个特征面与池化层中的一个特征面唯一对应，且池化层的神经元也与其输入层的局部接受域相连，不同神经元局部接受域不重叠。
池化层起到二次提取特征的作用，它的每个神经元对局部接受域进行池化操作．常用的池化方法有最大池化即取局部接受域中值最大的点、均值池化即对局部接受域中的所有 值 求 均 值、随 机 池 化。

全连接层

在 ＣＮＮ 结构中，经多个卷积层和池化层后，连接着１个或１个以上的全连接层．与 ＭＬＰ类似，全连接层中的每个神经元与其前一层的所有神经元进
行全连接．全连接层可以整合卷积层或者池化层中具有类别区分性的局 部 信 息。

总结展示

共有３个卷 积 层（Ｃ１，Ｃ３，Ｃ５）、２个 池 化 层（Ｍ２，Ｍ４）、１ 个 全 连 接 层 （Ｆ６）和１个输出层（Ｏ７）．输入的大小为１６０×１６０，Ｃ１中９６×１１×１１×１（４）表示 Ｃ１层有９６个大小为１１×１１的卷积核，１为它的输入特征面个数，４是卷积核在其输入特征面上的滑动步长，３８×３８为每个输出特征面的大小。