Tensorflow2.0——过拟合问题

Overfitting

解决办法：
1.增加数据量
2.降低模型复杂度：控制网络结构、增加正则项（惩罚项）
3.dropout
4.数据增强
5.测试数据在过拟合前停止迭代

regularization/weight decay

两种类型
即增加正则项，如果模型存在过拟合现象，使用weight_decay可以很好地解决过拟合现象，但如果模型解释能力正好，再使用weight_decay就很大地减弱了模型的能力。

[one_by_one regularization]

[flexible regularization]

动量与学习率

momentum动量

为小球加一个惯性量。

learning rate decay

自适应：根据迭代次数降低学习速率。

Early Stopping

选择能够使验证集精度最高的迭代次数。

dropout

不使网络全连接。在层与层之间加入dropout。

Stochastic Gradient Descent

取一个batch计算误差更新梯度。