2019-12-14卷积神经网络CNN模块化剖析

---

一、深度学习概述

1.1 发展历程

上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念。
到80年代，日本科学家福岛邦彦（Kunihiko Fukushima）提出Neocognitron（神经认知机），直接启发了后来的卷积神经网络。
1998年，Yann LeCun提出的卷积神经LeNet，首次提出了多层级联的卷积结构，可对手写数字进行有效识别。
2012年， Alex依靠卷积神经网络AlexNet夺得ILSVRC 2012比赛的冠军，吹响了卷积神经网络研究的号角。AlexNet成功应用了ReLu、Dropout、最大池化、LRN（Local Response Normalization，局部响应归一化）、GPU加速等新技术，启发了后续更多的技术创新，加速了卷积神经网络和深度学习的研究。从此，深度学习研究进入蓬勃发展的新阶段。
2014年Google提出的GoogleNet，运用Inception Module这个可以反复堆叠高效的卷积网络结构，获得了当年的ImageNet ILSVRC比赛的冠军，同年的亚军VGGNet全程使用3×3的卷积，成功训练了深度达19层的网络。
2015年，微软提出了ResNet，包含残差学习模块，成功训练了152层的网络，一举拿下当年ILSVRC比赛的冠军。
2019年3月27日 ——ACM宣布，深度学习的三位创造者Yoshua Bengio, Yann LeCun, 以及Geoffrey Hinton获得了2018年的图灵奖。

Hinton最重要的贡献：1983年发明的玻尔兹曼机（Boltzmann Machines），1986年发明反向传播的论文“Learning Internal Representations by Error Propagation”，AlexNet，在计算机视觉领域掀起一场革命。

Yann LeCun：代表贡献之一是卷积神经网络，拓展了神经网络的应用范围。

Bengio的贡献：在1990年代发明的Probabilistic models of sequences。发表了划时代的论文“A Neural Probabilistic Language Model”，使用高维词向量来表征自然语言。

1.2 深度学习的兴起

传统方法的瓶颈：人工设计特征是浅层特征，无法有效刻画对象的变化，所采用的识别网络是浅层网络。

浅层学习：2006年前，多种浅层机器学习模型被提出，如感知机、BP神经网络、支持向量机等。这些模型的结构基本上可以看成带有一层隐层节点，或没有隐层节点的神经网络结构。

兴起的标志：2006后，深度学习之父Hinton在《科学》杂志提出神经网络的深度学习方法，自此开启了深度学习在学术界和工业界的浪潮。

深度学习的动机：更复杂的分布往往需要更深层的网络结构。更深层次的网络具有更强的非线性拟合能力

1.3 深度学习的特点

1）与人脑相似的信息处理：从低层到高层的深层次特征抽象。
2）深层结构实现更复杂的非线性拟合。其本质是解决思路为维度空间映射，深层结构能够实现更复杂的非线性拟合。
3）深度特征的自动提取：利用反向传播自动学习深度特征。

1.4 深度学习的优势

1）更优的大数据学习能力：与传统机器学习算法相比，深度网络的结构可以随数据的增加而充分挖掘数据内在的分布规律，获得更优的性能。
2）更高层的特征提取机制：经典的机器学习算法需要复杂的特征提取过程。而深度神经网络可自适应地学习特征提取器，降低人工参与。
3）更优异的泛化性能：与传统的ML算法相比，深度学习可通过迁移学习实现不同图像域的域自适应学习能力，从而更容易适应不同的领域和应用。

深度学习产业化的核心要素：数据+运算能力+神经网络

二、卷积神经网络剖析

一般的卷积神经网络由以下几个层组成：卷积层，池化层，非线性激活函数，全连接层。这四者构成了常见的卷积神经网络。当然，损失函数也至关重要，还有各种各样的网络的优化，使得网络准确率更高。

2.1 卷积层

卷积层：卷积层是一个卷积神经网络最重要的部分，也是卷积神经网络得名的缘由。卷积层中每一个节点的输入是上一层神经网络的一小块，卷积层试图将神经网络中的每一个小块进行更加深入地分析从而得到抽象程度更高的特征。

CNN正式通过卷积的方式实现输入特征的提取和变换映射，从而获得数据的特征表示。卷积层本质上执行的是相关计算。

步长：卷积核移动的距离（包括下和左）。步长为n，则每次移动n个数值。

卷积后数据大小变化了，不再是原来数据的尺寸，怎么办？
在原始数据周围补充0，以保持卷积后的数据大小与输入数据一致。即为padding操作。

可根据需要设定补零的层数, 是一个可以设置的超参数, 但要根据卷积核的大小, 步幅, 输入矩阵的大小进行调整, 以使得卷积核恰好滑动到边缘。

一般情况下, 输入的图片矩阵以及后面的卷积核, 特征图矩阵都是方阵, 这里设输入矩阵大小为 $www$δ. 神经