咱也不知道什么是过拟合

神经网络最大的挑战是过拟合,指的是神经网络试图记忆一个数据集,而不是从中学到可以泛化到还没见过的数据的有用抽象.换句话说,神经网络学会的是基于数据集中的噪声进行预测,而不是依赖于基本信号.

过拟合的产生通常是由于当前网络参数的数量多于学习特定数据集所需要的参数数量.这种情况下,网络有足够多的参数去记忆每一个细节,而不是学习高层次的抽象,

相对于正则化,更好的防止过拟合方法就是使用松散定义的模型,或者说是网格结构(因为相信能在多个位置检测到相同模式,所以可以针对性的重用针对多个目标的权重),这样可以很好的减少过拟合,提高识别率,因为降低了权重量和数据量的比例.最广泛使用的网格结构是卷积,使用一层时叫做卷积层(一个卷积层通常包括多个卷积核).

网格结构的诀窍:

当神经网络需要在多处使用相同的想法时,应该试着将相同的权重用于这些地方,这样可以提高泛化能力,从而使权重变得更好,因为权重有更多的样本来进行训练.