机器学习中关于偏差、方差和误差的理解

在模型预测中，模型可能出现的误差来自两个主要来源：

  1、因模型无法表示基本数据的复杂度而造成的偏差（bias);

  2、因模型对训练它所用的有限数据过度敏感而造成的方差（variance)。

  误差是测量值与真实值之间的差值。用误差衡量测量结果的准确度，用偏差衡量测试结果的精确度；误差是以真实值为标准，偏差是以多次测量结果的平均值为标准。

  而方差在统计学中是指各个数据与其平均数之差的平方的和的平均数，它表示的是一种偏离程度：当数据分布比较分散时，方差就较大；因此方差越大，数据的波动越大；方差越小，数据的波动就越小。

  从上面定义可以看出，偏差可以衡量我们所建立模型的精确度，精确度越高，我们用模型计算出的值与实际值越接近；而方差表示的是一种偏离程度，在一定程度上可以表示我们的模型对于任何给定的测试样本会出现多大的变化。

  下面以一个图片为例进一步说明。

  这张图比较形象地展现了偏差和方差的区别：偏差越小，箭的位置总体离靶心较近，说明射手的水平较高；方差越小的话，箭射的位置大体在一小块区域，说明射手发挥的很稳定，但不一定代表他射的很好。

偏差造成的误差：

  如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致准确率降低。这种现象叫做欠拟合(underfitting)。

方差造成的误差：

  出现方差是正常的，但方差过高表明模型无法将其预测结果泛化到更多的数据。对训练集高度敏感也称为过拟合(overfitting)，而且通常出现在模型过于复杂或我们没有足够的数据支持它时。