过拟合问题

过拟合

神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低。模型的泛化能力差。

发生过拟合的原因，主要有两个：

1）模型拥有大量参数、表现能力强；

2）训练数据太少；

正则化

权值衰减是通过在学习过程中对大的权值进行惩罚，来抑制过拟合。这时，为损失函数加上权重的平方数（L2范数），这样一来，就可以抑制权重变大。

对上面的话，作一下解释：

权重参数的更新过程为：。如果为损失函数加上一个权重的L2范数，那么，梯度▽就会变大，自然会相应的减小。

 有了正则化后，损失函数，在原来的基础上，增加了一项.

                                                                              

其中n为训练样本总数，分母上的2是为了方便求导。是正则化超参数，越小，正则化的作用就越小，模型主要在优化原来的损失函数。越大则正则化越重要，参数趋于0附近。

L1范数与之类似。

Dropout

Dropout是一种在学习的过程中随机删除神经元的方法。训练时，随机选出隐藏层的神经元，然后将其删除。被删除的神经元不在进行信号的传递。在测试时，虽然会传递所有的信号，但是，对于各个神经元的输出，要乘上训练时的删除比例后再输出。