机器学习打卡第三天

误差

average error随着模型的复杂度增加呈现指数上升趋势，更复杂的模型并不会给测试集带来更好的效果。

误差的来源主要由偏差bias和方差variance组成  

f^与f*之间蓝色部分的误差就是偏差和方差导致的

 

左下角的与右上角的可形成对比，说明bias主要影响平均值，即bias较大时，平均值与f^之间的差距也较大，而variance主要影响数据分布，即数据的方差，variance较大bias较小时时，数据较为分散但平均值与f^差距较小，同理两个值均较大时，数据不仅分散，并且平均值与f^差距较大

 

当模型较为复杂时，数据的bias变小了，但是variance却变大了，训练有较好的结果但是测试不一定有较好的结果。

 

 

简单模型主要是由偏差比较大造成的误差，这种情况称之为欠拟合，复杂模型是方差过大造成的误差，该情况成为过拟合

偏差大----欠拟合

应该重新设计模型，选择更为复杂更高次幂的模型函数，加入更多的函数比如考虑高度重量，HP值

方差大---过拟合

解决方法：更多的数据

模型选择

N-折交叉验证

训练集分成N份，比如3份

三份中训练结果是模型1 最好，在用全部训练集训练模型1

梯度下降