误差来源于何处?
- bias 没有瞄准靶心
- variance 瞄准靶心后仍有偏移
Variance
如果将上一节的试验(10只宝可梦做回归)重复100次,对不同的模型,结果不同
从上图可以看出:一次模型的variance比较小,更复杂的模型variance更大
为什么?
简单的model受不同data的影响较小(我的理解:两点确定一条直线,曲线需要更多的点?
极端例子: f ( x ) = c f(x)=c f(x)=c ,不论什么data,output都是c
Bias
黑线:真实function
蓝线:5000个预测function的平均值
下图分别是 一次 三次 五次 模型的结果
从上图可以看出:五次的bias小,一次的bias大
为什么?
直观理解:简单模型可能并不包含target,无论怎么拟合都无法到达靶心
bias vs variance
简单模型 bias大 variance小
复杂模型 bias小 variance大
bias大怎么办?
-
重新设计一个更复杂的模型
variance大怎么办? -
收集更多数据
-
正则项让曲线变平化(当然这会让space变小,可能会漏掉目标function,使得bias变大,所以需要一个权衡)
model selection
trade-off between bias and variance ,minimize total error
cross validation 交叉验证
N-fold cross validation