![4048c6fd9b54bd14bb495efe53cf886e.png](https://i-blog.csdnimg.cn/blog_migrate/34944a5dbd4fcba3965eed1787e162a6.jpeg)
在机器学习中,总是看到偏差和方差,然后又和拟合又有关联!大多数我们只知道高偏差-欠拟合,高方差-过拟合.
为什么要研究偏差和方差?
因为我们通过机器学习方法,能够选择很多模型,不同参数的,不同超参数选择,到底哪个更适合预测呢?参数是被训练出来的,超参数是指手工调整,比如学习率,或者惩罚因子.
首先,我们先看看下面几张图
![726eeffc0111b20854a08bd955d0271a.png](https://i-blog.csdnimg.cn/blog_migrate/88f2a57f587369098771e5076d425117.jpeg)
第一张图,属于高偏差,拟合程度不高
第三张图,属于高方差,拟合程度过高
所以,我们就是要找第二张图的模型.
到底什么是偏差和方差?
偏差:是衡量预测值与真实值的关系,是指预测值与真实值之间的差值.
方差:是衡量预测值之间的关系,和真实值无关.也就是他们的离散程度
误差 = 偏差 + 方差
当然,我们选择训练模型低偏差,低方差,这样误差最小.
就下来,我们用一个日常生活的例子,更进一步理解概念.