机器学习中的偏差和方差

偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画的是算法本身的拟合能力；方差度量了同样大小的数据集下数据变动导致学习性能的变化，刻画的是数据扰动造成的影响。

当数据集小时，此时偏差占据主导地位，误差是由偏差决定的，当学习算法学习能力过强时，这时学到了整个训练数据集的所有特点，此时进行预测，即使一个很小特征的波动都会对最终

结果产生很大的影响，这个时候是方差占据主导地位。