[机器学习]偏差与方差？

什么是偏差和方差？

方差与偏差可以帮助我们观察我们的模型是欠拟合还是过拟合，

在这之前，我们先讨论讨论，什么是方差和偏差，

也许偏差更好理解，方差的概念更加难懂

在机器学习中：

偏差用于衡量预测值和真实值之间的误差

方差则用于衡量预测值之间的偏离程度，与真实值无关

回到机器学习中来，

如果一个模型欠拟合，那么很容易导致预测值与真实值的差值过大，这便是偏差过大

如果一个模型复杂度较高，能很高程度地拟合训练集的数据，但是，只要训练集中的某一个数据产生了变动，那么模型对该变动的反应会很剧烈，从而导致不同训练集(来源于同一个数据集)训练出来的模型，对同一个输入值返回的预测值的差值较高，这便是方差过大的表现

简单来讲就是

模型的复杂度低的话，那么你从数据集中任意取一部分数据，最终得到的模型都差不多，那么对同一个输入的预测值，即使不一定准确，但是不会变化很大，

模型的复杂度高的话，那么你的模型受你选择的训练集的影响就会变大，从而导致不同训练集下训练出的模型差别较大，这便是方差过大

这便是一张很经典的图

红点表示对一个输入x，我们真实的值y

蓝点则表示，训练出的不同模型对应的预测值

ps：这里的不同模型，指的是，针对同一个数据集X，根据训练集不同， 得到了不同的Θ值的各个模型，同一个靶子中，其复杂度是一样的，只是Θ的值不同

低偏差，低方差时（左上）：预测值离真实值很近，且不同模型预测的值之间相差比较小

低偏差，高方差时（右上）：各个方向的偏离程度差不多，综合起来偏差很低，但是不同模型之间差别很大，属于高方差

高偏差，低方差时（左下）：虽然预测值受不同训练集的影响较小，但是都与实际值差别较大

高偏差，高方差时（右下）：预测的值离真实值远，而且还不稳定

这里我们可以理解为，如果你拿着一把枪，你能够瞄准把心进行射击，那么你的偏差就是低的，但是瞄准的同时，你还需要射击的稳定性，也就是说，想要真正都打到把心，你能够瞄准还不够，还要不能手抖，不能把子弹打得太散，也就是不能有太大的方差

你瞄准的位置离靶心的远近，决定了你的偏差

你能够多么准确的射击到你瞄准的位置，决定了你的方差

---

欢迎友善的沟通交流及批评指正