Error的来源
Average ErrorAverage Error 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果,而这些 ErrorError 的主要有两个来源,分别是 bias 和 variance
然而 bias 和 variance是什么:
Error由bias和variance组成。Error反映的是整个模型的准确度,Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,Variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性。
我们训练一个模型的最终目的,是为了让这个模型在测试数据上拟合效果好,也就是Error(test)比较小,但在实际问题中,test data我们是拿不到的,也根本不知道test data的内在规律,所以我们通过什么策略来减小Error(test)呢?
分两步:
- 让Error(train)尽可能小
- 让Error(train)尽可能等于Error(test)
三段论,因为A小,而且A=B,这样B就小。
那么怎么让Error(train)尽可能小呢?