1、概念:
Bias:描述的是预测值与真实值之间的差距。用来衡量模型对特定样本实例预测的一致性(或说变化)。
Variance:描述的是预测值的变化范围,离散程度,也就是离其真实值的距离。用来从总体上衡量预测值与实际值之间的差异。
对于一个非线性分类问题而言(如XOR),简单的线性分类器(无维度空间映射)由于自身特性并不能较好地进行类别划分,model会出现较大的偏差;而决策树模型作为非线性分类器,能较好的拟合训练样本,偏差值较小,但若模型过于拟合训练样本,测试样本出现了训练样本考虑不周的情况,则容易出现预测误差,即方差值较高。对于一个model而言,泛化误差越小越好,可以通过一些方法来减小上述的偏差和方差。例如,常见的random forest通过采样和融合多棵决策树来减小泛化误差。
2、例子:
想象你开