机器学习之偏差、方差

偏差是指模型在不同数据集上的平均性能和最优模型的差异，可以用来衡量一个模型的拟合能力：

bias = E_D[ f_D(x) ] - f*(x) 

方差是指模型在不同训练集上的差异，可以用来衡量模型是否容易过拟合：

variance = E_D[ ( f_D(x) - E_D[ f_D(x) ]  ) ^2]

我理解偏差相当于环比，方差相当于同比。

偏差越低表明模型的拟合能力越好，一般来说，模型越复杂（参数越多），偏差越低，拟合能力越好，但泛化能力越低，越容易过拟合，即方差越大。

增加数据量有助于减小方差，增加模型的泛化能力，这时候可以换更复杂的模型来提高模型的拟合能力，但随着模型的复杂程度提高，模型的泛化能力也会减弱，即方差变大。

所以，模型的训练是在偏差和方差中间做权衡，来达到一个折中的结果。