深度学习之局部连接与权值共享

在网络中，如果全部使用全连接网络，则会使参数异常多，造成计算复杂，降低训练的效率。由此引入卷积层，卷积层能够有效减小训练参数，这与卷积具有的两个性质有关。
结合自身经历以及他人的疑问，对卷积神经网络有一个误解：
每个卷积核产生的feature map为一个神经元，正确的认知应该是每个神经元代表feature map的一个像素；
卷积层有两个比较重要的性质：

1 局部连接

图1.全连接与卷积

图2.卷积示意图

如图所示，5×5为L层，3×3为L+1层，其中L+1层单元格值为6、10的两个格子，两个神经元的计算值仅仅与前一层的黄、红色的输入层的部分映射，相比全连接网络，其减小了参数的量，对于现代更深更大的网络，两者的差距会被放大更多。
如果使用全连接层，需要训练的参数个数为（5×5）×（3×3）= 225个，而使用卷积，需要训练的参数仅为卷积核大小 = （3×3） = 9个。在单个网络上仅仅减小了几个，但是在多通道、几十层上百层的网络中，这个训练参数的差距会非常大。
通过以上证明，卷积大大减小了训练需要的参数数量，提高了训练效率。

2. 权重共享

如图2， 红黄色所对应的特征映射中的两个神经元，其部分参数计算时共享，本质是共享的卷积核在移动时共享的卷积核参数，红色圆圈所标注的为共享区域，这同样减小了参数数量。

邱锡鹏《深度学习》
吴恩达《深度学习》