【机器学习】理解方差、偏差且其泛化误差的关系

最新推荐文章于 2022-11-17 15:03:14 发布

ChenVast

最新推荐文章于 2022-11-17 15:03:14 发布

阅读量3.8k

点赞数 3

分类专栏： Machine Learning 机器学习算法理论与实战文章标签：偏差方差泛化误差机器学习

本文链接：https://blog.csdn.net/ChenVast/article/details/81385018

版权

156 篇文章 27 订阅

订阅专栏

132 篇文章 28 订阅

订阅专栏

在一个训练集 D上模型 f对测试样本 x的预测输出为 f(x;D), 那么学习算法 f对测试样本 x的 期望预测 为:

上面的期望预测也就是针对不同数据集 D, f 对 x的预测值取其期望（平均预测）。

使用样本数相同的不同训练集产生的方差为:

期望预测与真实标记的误差称为偏差(bias), 为了方便起见, 我们直接取偏差的平方:

以回归任务为例, 学习算法的平方预测误差期望为:

对算法的期望泛化误差进行分解:

bias-variance-proof

令噪声为零， $\varepsilon =y_{D}-y=0$ ，所以红色区域的等于零。

最后剩下 $E(f;D)=\varepsilon ^{2}+bias^{2}+var$ ,结果为泛化误差 = 偏差 + 方差 + 噪声

拟合程度	方差	偏差	原因	解决办法
欠拟合		过高	训练不足，偏差主导泛化误差	集成学习；加深加迭代；加特征；降低正则化；
过拟合	过高		训练过多，方差主导泛化误差	降低模型复杂度；加正则惩罚项；加训练集；减特征；提高正则化

bias-variance-tradeoff

参考：

关注