机器学习bias， error ，variance区别和联系

bias：if we average all f', is it close to f^.

bias 衡量模型拟合训练数据的能力，其中训练数据可以是数据的部分（mini—batch）

bias越小，拟合能力就越高（可能产生over fitting）反之，拟合能力低（underfitting)

 

 

 

 

 

 

variance

衡量模型的泛化能力

variance越小，模型的泛化能力就越高，反之泛化能力就越低

****

训练误差大，测试误差小：说明矫正bias大

训练误差小，测试误差大，说明variance大--将vc维

训练误差大，测试误差大，说明模型没有训练好----升vc维

 

 

error

一般把学习器的实际预测输出与样本的真实输出之间的差异叫做error

经验误差：也叫训练误差，模型在训练集的误差

泛化误差：模型在新样本集（测试集）的误差

 

总结：比较简单的model，variance比较小，反之，variance比较大

注：简单的model受样本数据的影响比较小，例如：f(x)=常数，无论用什么数据，variance均为零

判断overfitting

error来源于variance很大，overfitting

error来源于bias很大，underfitting

 

 

解决办法：

解决bias比较大

重新设计model

1.在输入端加入更多的特征

2.增加模型的复杂性

解决variance大

1.更多的数据

2.regularization