bias:if we average all f', is it close to f^.
bias 衡量模型拟合训练数据的能力,其中训练数据可以是数据的部分(mini—batch)
bias越小,拟合能力就越高(可能产生over fitting)反之,拟合能力低(underfitting)
variance
衡量模型的泛化能力
variance越小,模型的泛化能力就越高,反之泛化能力就越低
****
训练误差大,测试误差小:说明矫正bias大
训练误差小,测试误差大,说明variance大--将vc维
训练误差大,测试误差大,说明模型没有训练好----升vc维
error
一般把学习器的实际预测输出与样本的真实输出之间的差异叫做error
经验误差:也叫训练误差,模型在训练集的误差
泛化误差:模型在新样本集(测试集)的误差
总结:比较简单的model,variance比较小,反之,variance比较大
注:简单的model受样本数据的影响比较小,例如:f(x)=常数,无论用什么数据,variance均为零
判断overfitting
error来源于variance很大,overfitting
error来源于bias很大,underfitting
解决办法:
解决bias比较大
重新设计model
1.在输入端加入更多的特征
2.增加模型的复杂性
解决variance大
1.更多的数据
2.regularization