传统神经网络存在的问题:
(1)权值太多,计算量太大
(2)权值太多,需要大量样本进行训练
试想一下输入层是一张100X100的小图片,隐藏层也有1万个神经元,就有1亿个参数,那更大的图片呢?那还得了。
权值共享:抽取相同特征的所有神经元共享相同的权重,所以这些神经元与图片的不同区域连接,但是他们的权重完全相同(比如图片2中不同颜色的神经元都抽取相同的特征)
感受野,一个神经元只与输入图片的部分区域连接,而不是像全连接神经网络(如图片1)与输入图片的全部像素连接。
传统神经网络存在的问题:
(1)权值太多,计算量太大
(2)权值太多,需要大量样本进行训练
试想一下输入层是一张100X100的小图片,隐藏层也有1万个神经元,就有1亿个参数,那更大的图片呢?那还得了。
权值共享:抽取相同特征的所有神经元共享相同的权重,所以这些神经元与图片的不同区域连接,但是他们的权重完全相同(比如图片2中不同颜色的神经元都抽取相同的特征)
感受野,一个神经元只与输入图片的部分区域连接,而不是像全连接神经网络(如图片1)与输入图片的全部像素连接。