1、增加训练数据,或者数据增强
2、正则化(可以限制模型的复杂度)
正则化的定义是:控制参数幅度,不让参数无法无天,限制参数搜索空间
L1正则化:是n个维w的绝对值加和
L2正则化:是n个维w的平方和
L1正则化是通过向成本函数中添加L1范数,使得学习的结果满足稀疏化,方便特征提取,这个过程更像是降维,
L2正则化是通过让w值整体变小,防止过拟合,提高泛化能力。
3、dropout
4、神经网络可以减少网络层数,网络中的节点数,传统的方法,降低模型的复杂度
5、早停,如果训练中多次迭代后发现模型没有显著提高,就停止训练。
6、batch normalization(逐层归一化)
过拟合应该如何
最新推荐文章于 2022-11-21 12:00:31 发布