机器学习之方差与偏差(bias-variance)

问题背景

我们评价一个机器学习模型的好坏,通常是评价模型的泛化性能,而对泛化性能为什么高低缺乏一些了解。偏差-方差分解(bias-variance decomposition)就是解释学习算法泛化性能的一种重要工具。

原理

在这里插入图片描述

偏差、方差与噪声的含义

偏差:度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力;
方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响;
噪声:则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度。
在这里插入图片描述
(1)在这里插入图片描述
Simpler model is less influenced by the sampled data
即上图中所反映的,若不容易理解,可以这么想,考虑极限时最简单的模型是0,就不会受到影响
(2)
在这里插入图片描述

偏差与方差的冲突

一般来说,偏差与方差是有冲突的,这称为偏差-方差窘境(bias-variance dilemma),如下图所示。
在这里插入图片描述
给定学习任务,假设我们能控制学习算法的训练程度,那么训练不足时,训练数据的扰动不足以使学习器产生显著变化,此时偏差占主导;随着训练程度的加深,学习器的拟合能力逐渐增强,训练数据发生的扰动渐渐能被学习器学到,方差逐渐占主导;在训练程度充足后,学习器拟合能力已非常强,训练数据的轻微扰动都会导致学习器发生显著变化,若继续学习,则将发生过拟合。在这里插入图片描述
对于误差,若variance占主导,称为Overfitting
若bias占主导,称为Underfitting

What to do with large bias?

在这里插入图片描述

What to do with large variance?

在这里插入图片描述
————————————————
[1] 《机器学习》(周志华著)
[2] CSDN博主「jiayk2016」的文章
[3] 台大李宏毅机器学习公开课

©️2020 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值