本文介绍了机器学习中预测误差的三个关键组成部分：偏差、方差和噪声。偏差衡量了学习算法的预测与真实结果的偏离，方差反映了训练集变动引起的学习性能变化，而噪声是任何学习算法在特定任务上的泛化误差下限。偏差-方差窘境指出在优化模型时，降低偏差可能导致方差增加，反之亦然。通过实例和公式推导，阐述了这三个概念的含义及其在模型训练过程中的影响。
预测误差, 或者说泛化误差(generalization error)可以分解为三个部分:
- 偏差(bias)
- 方差(variance)
- 噪声(noise)
在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error).
首先抛开机器学习的范畴, 从字面上来看待这两个词:
偏差
这里的偏指的是 偏离 , 那么它偏离了什么导致了误差? 潜意识上, 当谈到这个词时, 我们可能会认为它是偏离了某个潜在的 “标准”, 而这里这个 “标准” 也就是真实情况 (ground truth). 在分类任务中, 这个 “标准” 就是真实标签 (label).
最低0.47元/天 解锁文章
1090
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
