机器学习4-模型的误差来源以及减少误差的方法

误差来源的两个方面：

bias（偏差）：度量了某种学习算法的平均估计结果所逼近的学习目标的程度。
variance（方差）:度量了在面对同样规模的不同训练集时分散的程度。
高的bias表示离目标值远，低bias表示离靶心近；高的variance表示多次学习的结果越分散，低的variance表示多次学习的结果越集中。
区别
variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度。

先看没有bias存在的情况

图中的N个点他们的平均值不等μ，但是当取值足够多，它的期望与μ相等。比喻就是，没有bias就是说瞄准的是靶心没有偏差，但是射击的时候由于一些因素，实际射击的位置散落在了μ的周围。

不同训练集分散的程度取决于variance：