机器学习中偏差、方差的理解

1.前言

在机器学习中经常遇到，model的“过拟合”以及“欠拟合”问题，怎样判断呢，这里可能就需要根据偏差-方差-错误曲线来判别。因此这里我们需要对方差、偏差有一个直观感性的认识。

2.方差-偏差

2.1偏差

当模型做出与实际情况不符的假设时就会引起错误，这种错误称为偏差。如果选择的模型与预测变量和因变量之间的关系差别太大时（通常是模型太简单），就会发生偏差。

2.2方差

描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。

2.3 方差偏差的具体分析

图形分析：从上下图中分析可以看到，偏差越大，离中心点越远，偏差越小，距离中心点越近。从左右方向来分析，方差越小，数据点越集中，方差越大，数据点越离散。

2.4 方差偏差数学公式表示

首先定义D为训练集数据集合，f（x；D）为训练集D上学得的模型f在x上的输出。期望预测为
f(x)¯¯¯¯¯¯</