Deep Learning 基础 -- 偏差、方差、噪声

Deep Learning 基础 – 偏差、方差、噪声

Tags： Deep_Learning

---

本文主要包含如下内容：

  参考博客

---

偏差、方差、噪声

---

  泛化误差主要可以分解为三个误差：偏差、方差、噪声
  
  期望：在一个训练集 D 上模型 f 对测试样本 x 的预测输出为 f(x;D), 那么学习算法 f 对测试样本 x 的 期望预测 为:
  $\overline{f}(\mathbf{x}) = E_D\left[f\left(\mathbf{x}; D\right)\right]$
  方差：使用样本数相同的不同训练集产生的方差为:
  $var(\mathbf{x}) = E_D\left[\left( f(\mathbf{x}; D) - \overline{f}(\mathbf{x}) \right)^2\right]$
  噪声：真实标记与数据集中的实际标记间的偏差:
  $\epsilon^2 = E_D\left[ (y_D - y)^2 \right]$
  偏差：期望预测与真实标记的误差称为偏差(bias), 我们直接取偏差的平方:
  $bias^2(\mathbf{x}) = \left( \overline{f}(\mathbf{x}) - y \right)^2$
  
  

    偏差：偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力
    方差：方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即 刻画了数据扰动所造成的影响
    噪声：噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界, 即 刻画了学习问题本身的难度。

  偏差和方差可以与欠拟合和过拟合进行比较：训练初期，欠拟合，学习器的拟合能力不够强，偏差比较大。在充分训练后，学习器的拟合能力非常强，训练数据的轻微扰动都会导致学习器发生显著变化，过拟合，方差大。