神经网络中的权值共享

        2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。

        神经网络的输入是什么？如果还是一个个像素点上的像素值的话，那就意味着每一个像素值都会对应一个权系数，这样就带来了两个问题：

1. 每一层都会有大量的参数。
2. 将像素值作为输入特征本质上和传统的神经网络没有区别，并没有利用到图像空间上的局部相关性。

        权值共享的卷积操作有效解决了这个问题，无论图像的尺寸是多大，都可以选择固定尺寸的卷积核，LeNet中最大的卷积核只有5*5*1，而在AlexNet中最大的卷积核也不过是11*11*3。而卷积操作保证了每一个像素都有一个权系数，只是这些系数是被整个图片共享的，着大大减少了卷积核中的参数量。此外卷积操作利用了图片空间上的局部相关性，这也就是CNN与传统神经网络或机器学习的一个最大的不同点，特征的自动提取。

        权值共享后意味着每一个卷积核只能提取到一种特征，为了增加CNN的表达能力，当然需要多个核，不幸的是，它是一个Hyper-Parameter。