方差和偏差（Understanding the Bias-Variance Tradeoff）

当我们讨论预测模型时，预测误差可以分解成两个主要组成部分：由于“偏差”导致的误差和由于“方差”导致的误差。 模型在最小化偏差和方差之间权衡。 了解这两种类型的误差可以帮助我们诊断模型结果并避免过拟合和欠拟合的问题。

1.偏差和方差

了解偏差和方差这两种不同误差的来源有助于我们改进数据拟合过程，从而获得更准确的模型。 我们用三种方式定义偏差和方差：概念上、图形上和数学上。

1.1从概念上定义

由偏差引起的误差：由偏差引起的误差衡量了我们模型的期望（或平均）预测值与我们试图预测的真实值之间的差异。 当然，你只有一个模型，所以谈论预期或平均预测值可能看起来有点奇怪。 但是想象一下，你可以不止一次地重复构建模型：每次采集新数据并训练新模型。 由于数据集的随机性，产生的模型将会有一系列的预测。 偏差测量了这些模型的预测值与正确值之间的差距。
由于方差引起的误差：由方差引起的误差衡量了对给定数据点模型预测的变化。 再次想象，你可以多次重复构建模型。方差是给定数据点的不同模型预测值之间的变化程度。

1.2从图形上定义

偏差：描述的是预测值的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。
方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图第二列所示。

1.3从数学上定义

未完结……

参考文献：
Understanding the Bias-Variance Tradeoff