卷积神经网络CNN的四大关键技术（个人理解）

本文仅是自己的理解与认识，有不正确、不严谨之处欢迎大佬们批评指正！
今天在学习卷积神经网络时发现这样一句话：卷积神经网络使用局部连接、权值共享、多卷积核以及池化四个关键技术，教材上对这四大技术的讲解也不是很明了，查阅资料后大致有了自己的理解的认识，在此记录一下。
除了多卷积核，其他三大关键技术的目的都是为了减少参数量，简化模型的训练同时防止模型过拟合，只不过采取的手段和依靠的原理不同。而多卷积核则是为了让特征提取的更加充分，提高模型的准确度。
首先是局部连接。受到生物学的启发，每个神经元不是对全局图像进行感知而是对只局部图像进行感知，然后在更高层将这些局部的信息综合。因此，两层之间没必要采用全连接的方式，隐层的感受域只需要和划分好的局部图像相连接即可。全连接与局部连接的区别如下图所示：

这样参数量大大缩小，但是需要训练的参数依然很多。
随后用权值共享技术减少参数。如果设定每一个神经元和10×10个像素连接，那么每个神经元就有10×10=100个连接权值参数。如果每个神经元的连接权值参数不同，那么两层间连接权值的参数量将会很大。如果我们能将每个神经元的这100个参数都设置为相同的，那么这两层间的参数量就只有100个。也就是说，我可以设置一个10×10的参数模板，对于每一个10×10的区域都套用这个模板进行计算。事实上，这种方式是合理的，这是由于图像的一部分统计特性与其他部分是一样的，对一部分的学习特征可以应用于整幅图像。那么具体应该怎么算呢，且看下图：

对5×5的像素区域，我设置了一个3×3的参数模板（右下角的红色字段）进行特征提取，这个时候能算出来的卷积特征维数为（5-3+1）×（5-3+1）=3×3，因此卷积特征为一个3×3的矩阵。首先向将这个3×3的参数模板放在5×5区域的左上角（即黄色区域），计算出这个区域的的卷积特征值为11+10+11+00+11+10+01+00+11=4，放到右边的矩阵的（1，1）中，然后我们向左平移一个单位，到达蓝色边框区域，计算特征值为11+10+01+10+11+10+01+10+11=3，放到右边矩阵的（1，2）中，以此类推，直到填满整个右边矩阵，右边的这一个矩阵就称为是图片的一个特征。
经过上述分析，我们不难发现，一个参数模板只能提取出图片的一个特征，而显然一个图片具有很多个特征，因此我们需要设置好多个这样的参数模板对图像进行特征提取，这就是多卷积核技术。每个特征提取之后都会生成一幅新的图像，这些图像就可以看作是一张图像的不同通道（PS中也有这个概念）。
多卷积核显然提升了参数量，而我们的目的是尽可能降低参数量，这时就需要采用池化技术来降低参数量。池化技术的本质就是特征的合并，而常用的两种池化方式为平均池化和最大池化。这就好比我们去衡量一个池塘里的水有多深，我们可以说这个池塘平均水深是多少米，或者说这个池塘最深的地方有多少米。下面这幅图就很好的展示了最大池化：

局部连接、权值共享、多卷积核三个技术都是在CNN的C层（卷积层，特征提取层）使用的，而池化则是在S层（下采样层，特征映射层）使用的，每个C层后都跟一个S层，使得每一层的参数量都尽可能合理。