机器学习第七篇----方差、偏差

最近在研究方差、偏差对结果评测的影响

偏差：模型预期的预测与我们将要预测的真实值之间的差值，用来衡量模型预测值和真实值之间的差异。

方差：是实际值与期望值之差平方的平均值，是预测模型的不同关系间变化的多少

在机器学习过程中针对偏差和方差常会出现以下场景：

高偏差：欠拟合，训练误差很大，训练误差与测试误差差距很大，
解决方法：
1.寻找更好的特征（可以先使用gdbt筛选一波）
2.用更多的特征 （增加数据维度）

高方差：过拟合，可能由于模型过于复杂，训练误差小，训练误差与测试误差差距大。
解决方案：
1.增大训练数据集合 （增加训练数据量）
2.减少训练数据特征（减小数据维度）
3.尝试增加正则化程度

借用一个经典的图片直观的解释一下：

低偏差，低方差：预测结果准确率很高，并且模型比较健壮（稳定），预测结果高度集中。

低偏差，高方差：预测结果准确率较高，并且模型不稳定，预测结果比较发散。

高偏差，低方差：预测结果准确率较低，但是模型稳定，预测结果比较集中。

高偏差，高方差：预测结果准确率较低，模型也不稳定，预测结果比较发散。