方差与偏差

bias & variance

模型的偏差，指的是模型预测的期望值与真实值之间的差，从这个计算公式里面我们能看出来bias主要是注重对于training data部分，因此是期望预测与原始数据真值之间的差

模型的方差，指的是模型预测的期望值与预测值之间的差平方和，注重的是test data也就是未知数据的预测值

bias 反映了模型的拟合程度，variance反应了模型的稳定性

欠拟合产生的原因在于模型复杂度低，由偏差引起的误差通常在训练误差上就能体现，或者说训练误差主要是由偏差造成的
过拟合是由于模型复杂度高，由方差引起的误差通常体现在测试误差相对训练误差的增量上

看图上，绿色的线又叫做测试误差
横轴实际上就是指模型的复杂度，也叫模型的容量

解决方法：
通常来说欠拟合就直接将模型复杂化（对于多项式模型增加多项式的次数）
过拟合就采用正则化方法，添加正则化项。在优化中将经验风险最小化换成结构风险最小化，增加的正则化项通常是与模型的复杂度成正比