bias + variance

理解机器学习中的偏差和方差对于模型性能至关重要。偏差表示模型预测与真实结果的偏离程度,而方差则衡量模型对训练数据变化的敏感性。当模型过于复杂时,方差增大,容易过拟合,即在训练集上表现好,测试集上表现差;反之,模型简单可能导致欠拟合,训练集和测试集表现都不理想。解决方法包括调整模型复杂度、增加数据、正则化等。避免用测试集选择最佳模型,而应使用验证集,如K折交叉验证。
摘要由CSDN通过智能技术生成

Bias:偏差

Variance:方差

Loss=bias+variance

 

模型越复杂,方差越大,偏差越小

模型越简单,方差越小,偏差越大

 

怎么判断是过拟合还是欠拟合?是方差大还是偏差大?

假如在训练集上拟合的不好就是欠拟合(偏差大)

假如在训练集上表现不错,但是在测试集表现不咋样,那就是过拟合(方差大)

假如是欠拟合,可以选择增加一些特征或者选择更复杂的模型

假如是过拟合,可以选择 使用更多的数据(数据增强),regularization,剪枝等等

所以需要平衡这两个误差,使得total error最小

 

不应该做的事:

用训练集训练出很多模型,然后用test set来衡量模型性能,因为test set本身也具有bias,使用其来寻找best model也会有误差,因此需要使用validation set,建议使用K折交叉验证(太麻烦)

 

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值