model 误差的来源简析

 

error due to “bias” and “variance”

• bias : 模型所有的输出平均值与真实目标值的差距

• variance : 模型输出的平均值的之间的差距(也可以说是模型输出的集中程度)

• 简单的模型, bias较大, variance较小,

• 复杂的模型, bias 较小, variance较大.

• 总结来说, 模型的复杂程度决定了模型的解空间(space)的大小, 越复杂空间越大, bias较小, 因为解空间越大就有可能包含真实解, 但是variance较大, 反之亦然.

训练集表现不佳, error 主要来源于bias , 也就是所谓的underfitting,

解决方案:

• more complex model

• add more feature as input

训练集表现较好, 测试集表现不佳, error主要来源于variance, 所谓的overfitting,

解决方案:

• more data

• regularization