深度学习模型在训练集上很好而在测试集表现得不好而拟合次数并不多_机器学习中的过拟合,欠拟合和偏倚方差折衷...

本文探讨了机器学习中的过拟合和欠拟合现象,以及如何通过交叉验证来平衡偏倚和方差。过拟合发生在模型过度学习训练数据,导致在新数据上表现不佳;欠拟合则是模型无法捕捉数据的潜在趋势。交叉验证是防止过拟合的有效手段,通过多次训练和测试数据子集来评估模型的泛化能力。
摘要由CSDN通过智能技术生成

过度拟合在机器学习中很重要。

很直观的解释过拟合:假设我们现在让机器学习考试做题,想象一种情况,机器逐字记住每个问题的答案(拟合非常好-完美)。然后,我们可以在练习题上得分很高;我们这样做是基于希望实际考试中的问题与练习中的问题相同。但是,实际上,我们在用该机器在实际考试问题上的得分会非常低,因为很少有在实际考试中会出现完全相同的问题。

记忆现象可能导致过度拟合。就是说我们过度地从训练集中提取了太多信息,然后这个模型在训练集上就特别好,但在实际中或者测试集中就不行了,这被称为机器学习中的低偏倚。与此同时,它也无助于我们对数据进行概括并从中得出模式,该模型将在以前未见的数据集上表现不佳。我们也称这种情况为机器学习中的高变异或者高方差

当我们尝试根据相对较少的观察值而不是基本关系来描述学习规则时,就会发生过度拟合;当我们使模型过于复杂时,以使其适合每个训练样本时也会过拟合,例如,如前所述,记住所有问题的答案。

相反的情况称为欠拟合。当模型欠拟合时,它在训练集上的表现不佳,而在测试集上则表现不佳,这意味着它无法捕获数据的潜在趋势。如果我们没有使用足够的数据来训练模型,可能会导致拟合不足,就像如果我们没有审查足够的材料会导致考试不及格;如果我们尝试将错误的模型拟合到数据中,也可能发生这种情况,就像如果我们采用错误的方法并以错误的方式学习它,则在任何练习或考试中得分都将较低。我们称这

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值