卷积神经网络中的稀疏交互和参数共享

卷积神经网络（Convolutional Neural Networks，CNN）是一种前馈神经网络，它的特点是每层的神经元节点只响应前一层局部区域范围内的神经元。这也是与其他的前向神经网络不同之处，例如全连接网络中每一个神经元节点响应前一层的全部节点。

稀疏交互

在传统神经网络中，网络层之间输入与输出的连接关系可以由一个权值参数矩阵来表示，其中每一个单独的参数值都表示了前后层某两个神经元节点之间的交互。对于全连接网络，任意一对输入与输出神经元之间都产生交互，形成稠密的连接结构。在下图中可以看到，$s_i,i=1,...,5$与输入的所有神经元$x_i,i=0,...,5$都有连接。

在卷积神经网络中，卷积核尺度远远小于输入的维度，这样每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重（即产生交互），我们就称这种特性为稀疏交互。

在下图中，可以看到与稠密的连接结构不同，神经元$s_i$仅与前一层中的$x_{i-1},x_i,x_{i+1}$相连。具体来讲，假设网络中相邻两层分别具有$m$个输入 和$n$个输出，全连接网络中的权值参数矩阵将包含$mn$个参数。对于稀疏交互的卷 积网络，如果限定每个输出与前一层神经元的连接数为$k$，那么该层的参数总量为$kn$。在实际应用中，一般$k$ 值远小于$m$就可以取得较为可观的效果；而此时优化 过程的时间复杂度将会减小几个数量级，过拟合的情况也得到了较好的改善。

稀疏交互的物理意义是，通常图像、文本、语音等现实世界中的数据都具有局部的特征结构，我们可以先学习局部的特征，再将局部的特征组合起来形成更复杂和抽象的特征。

参数共享

参数共享是指在同一个模型的不同模块中使用相同的参数，它是卷积运算的 固有属性。全连接网络中，计算每层的输出时，权值参数矩阵中的每个元素只作用于某个输入元素一次；而在卷积神经网络中，卷积核中的每一个元素将作用于 每一次局部输入的特定位置上。根据参数共享的思想，我们只需要学习一组参数集合，而不需要针对每个位置的每个参数都进行优化，从而大大降低了模型的存 储需求。

参数共享的物理意义是使得卷积层具有平移等变性。假如图像中有一只猫， 那么无论它出现在图像中的任何位置，我们都应该将它识别为猫，也就是说神经 网络的输出对于平移变换来说应当是等变的。

欢迎关注微信公众号（算法工程师面试那些事儿)，本公众号聚焦于算法工程师面试，期待和大家一起刷leecode，刷机器学习、深度学习面试题等，共勉～