[一起面试AI]NO.6 偏差与方差

偏差度量了学习算法的期望与真实结果的偏差，刻画了算法本身的「拟合能力」，方差度量了同样大小的训练集的变动所导致的学习性能的变化。

偏差与方差

偏差用于描述模型的拟合能力，方差用来描述模型的稳定性。

当训练度不足的时候，偏差主导模型的泛化误差；

当训练进入后期，模型的拟合能力增强，方差主导模型的泛化误差；

当训练足够的时候，如果拟合能力过强会导致过拟合。

Q1 泛化误差、偏差、方差与噪声之间的关系

学习器在训练集上的误差被称为“训练误差”或“经验误差”，在新样本的误差被称为“泛化误差”。

「噪声」为真实标记与数据集中实际标记之间的误差。

「偏差」为期望预测与真实标记的误差成为偏差。

「泛化误差」可分解为偏差、方差和噪声之和。

本问题涉及大量的公式运算，因为主要面向于面试对话，所以方程不再列出，有兴趣的可以点击此处来了解具体过程。

Q2 导致偏差和方差的原因是什么

「偏差」是由于模型的复杂度不够或者对学习算法做了错误的假设；

比如真实模型为三次函数，而拟合出来的为二次函数，会导致偏差「激增」，属于欠拟合现象。所以训练误差主要是偏差造成的。

而方差通常是模型复杂度过高导致的；

比如真实模型是二次函数，而拟合出来的是五次函数，会导致「过拟合」，方差「增大」。由方差引起的误差通常体现在测试误差相对训练误差的变化上。

❝

最后：
想要看更多就关个注
你看看我的粉丝数🙆

❞