偏差-方差平衡(bias-variance tradeoff)

偏差-方差平衡(bias-variance tradeoff)

以下来自西瓜书的经典论述:假设我们有很多个数据集 D D D,数据集之间相互独立, 都可以作为模型 F F F的输入, 每个数据集都有对应的标记 y D y_D yD, 标记可能包含着噪声 ϵ \epsilon ϵ, 也即 y D y_D yD与真实值 y y y之间的差异。据此, 偏差 v a r var var被定义为模型 F F F预测输出的期望 E ( F D ) E(F_D) E(FD)(可以理解为模型在所有数据集上预测值的均值)与真实标记之间的差异, 方差被定义为模型 F F F在各个数据集上的预测输出与期望 E ( F D ) E(F_D) E(FD)之间的差异的期望。

进一步讲, 如果独立数据集的数量是无限的,那么期望 E ( F D ) E(F_D) E(FD)就近似描绘了算法模型的预测期望或者表达能力,我们说一个算法趋向于具有高偏差,意味着这个算法表示能力较弱,拟合能力较差,但是这一算法往往在各个数据集上的表现都相差不大,具有较低的方差。另一方面,如果模型在一些数据集上工作的很好(例如训练集), 但在另一些数据集(例如测试集)表现不佳, 这就会导致高方差,能够表现好这说明算法表达能力很强,或者说灵活性较强, 而表现不稳定就说明泛化能力较差。

总结起来,依据偏差-方差分解(不用知道是什么)可知,泛化误差是噪声加方差再加上偏差。随着训练程度的增长,模型的表达能力逐渐提高,那么偏差就会逐渐减小,同时模型的不稳定性逐渐提高,那么方差就会逐渐增大,此时泛化误差曲线可能呈碗状曲线,也即从开始很高逐渐降低直到最低点接着又开始上升。因此在模型表达能力足够强时,我们需要在合适的时机停止训练(dropout),使其在具备较好的表达能力的同时泛化能力也不差

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值