卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题

第一个问题：模型过拟合

１.１　什么是过拟合

所谓过拟合（Overfit），是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集 上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。 

１.２　造成过拟合的原因

　如上图所示：过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大

如上图所示：过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。

１.２　造成过拟合的原因

       1过拟合其中一个可能的成因就是模型的vc维过高，使用了过强的模型复杂度(model complexity)的能力。（参数多并且过训练） 
　　2还有一个原因是数据中的噪声，造成了如果完全拟合的话，也许与真实情景的偏差更大。 
　　3最后还有一个原因是数据量有限，这使得模型无法真正了解整个数据的真实分布。 

　　4权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。

１.3　过拟合解决方法

        1，获取更多数据

2. 使用合适的模型