卷积神经网络

        卷积神经网络也是一种前馈神经网络，是一种专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据和图像数据。该神经网络使用了卷积数学运算，是一种特殊的线性运算。卷积神经网络的稀疏交互、参数共享及等变表示等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化网络结构。

       下图是一个卷积运算，卷积运算过程如图所示，input代表的是输入的X，而Kernel表示的是使用的核，通过核计算完成了该部分的卷积计算。

稀疏交互：传统的前馈神经网络中，层和层之间的连接都是进行全连接的，而在卷积神经网络中，上一层对下一层节点中的作用不是全连接的，是部分连接，如下图所示。

参数共享：指在一个模型的多个函数中使用相同的参数。在卷积神经网络中，核的每一个元素都作用在输入的每一个位置上，卷积运算中的参数共享保证了我们只需要学习一个参数集合，而不是对于每一位置都需要学习一个单独的参数集合。改方法没有改变代码的运行的时间，确降低了模型的存储空间，并且当网络非常大时，共享参数所占的空间会小很多。

等变表示：对于卷积，参数共享的特殊形式使得神经网络层具有对平移等变的性质。如果一个函数满足输入变化，输出也以同样的方式改变这一性质，我们就说它是等变的。

        通过设计的卷积核分别能够提取不同的特征。此时我们其实就可以把卷积核就理解为特征提取器。我们只需要把图片数据灌进去，设计好卷积核的尺寸、数量和滑动的步长就可以让自动提取出图片的某些特征，从而达到分类的效果。

卷积函数的改进方法：局部连接层、平铺卷积和标准卷积。三个方法的区别在于单元之间如何共享参数的。（1）局部连接层根本美欧共享参数，对每个连接使用唯一的字母标记，用来标记它的自身权重。（2）平铺卷积有t个核，每当我们在输出中右移一个像素后，我们将使用一个不同的核。与局部连接层类似，输出中的相邻单元具有不同的参数，区别在于循环使用t个核。（3）标准卷积是平铺卷积t=1的情况，它代表卷积中只有一个核，并且被应用到各个地方。具体区别如下图所示。

        通常情况下，卷积神经网络训练中最昂贵的部分是学习特征。输出层的计算代价通常相对不高，因为在通过若干层池化（等变表示）之后作为该层输入的特征的数量较少。当使用梯度下降执行监督训练时，每步梯度计算需要完整地运行整个网络的前向传播和反向传播。减少卷积网络训练成本的一种方式是使用那些不是由监督方式训练得到的特征。有三种基本策略可以不通过监督训练而得到卷积核。其中一种是简单地随机初始化它们。另一种是手动设计它们，例如设置每个核在一个特定的方向或尺度来检测边缘。最后，可以使用无监督的标准来学习核。使用无监督的标准来学习特征，使得它们能够与位于网络结构顶层的分类层相互独立地确定。然后只需提取一次全部训练集的特征，构造用于最后一层的新训练集。

        典型的卷积神经网络层包含3级，在第一级中，这一层的任务是并行地计算多个卷积产生的一组线性激活相应。在第二级中，每一个线性激活相应将会通过一个非线性的激活函数，也常常被称为探测级。在第三级中，我们将使用池化函数来进一步调整这一层的输出。

        池化函数的主要目的是通过将采样的方式，在不影响整体图片质量的情况下，压缩图片，减少参数。常用的池化方法有:最大池化函数（给出矩形领域内的最大值）、平均值（矩形领域所有值得平均值）。通常情况下，当输入作出少量平移时，池化能够帮助输入的表示近似不变，并且经过池化函数后的大多数输出并不会发生改变。池化可能会使得一些利用自顶向下信息的神经网络结构变得复杂，例如玻尔兹曼机和自编码器。

通过上述的卷积、核以及池化将完成一个完整的卷积部分计算了，而在其他层中也是经过这些部分来未完成特征的进一步提取，最后达到分类等任务。

注:

（1）卷积核尺寸可以根据图片的大小进行设置，但是，在卷积层输出依然保证是整数，不能出现小数。卷积核的个数可以根据经验而定，这个没有固定的限制。

（2）卷积核的公式有很多，不过在一般情况下，根据实验得到的经验来看，会在越靠近输入层的卷积层设定少量的卷积核，越往后，卷积层设定的卷积核数据越多。本人理解，靠近输入层的数据是最原始数据，而越往后，特征就越具体，则需要不同的卷积核完成不同特征的提取。

（3）卷积核的运算是内积计算，不是矩阵相乘在相加求和。

参考文献：

http://www.cnblogs.com/charlotte77/p/5629865.html

https://www.cnblogs.com/charlotte77/p/7759802.html

卷积神经网络研究综述

Deep Learning

https://www.zybuluo.com/hanbingtao/note/485480