偏差平方和说明什么_[机器学习]偏差和方差的理解

在机器学习中,总是看到偏差和方差,然后又和拟合又有关联!大多数我们只知道高偏差-欠拟合,高方差-过拟合.

为什么要研究偏差和方差?

因为我们通过机器学习方法,能够选择很多模型,不同参数的,不同超参数选择,到底哪个更适合预测呢?参数是被训练出来的,超参数是指手工调整,比如学习率,或者惩罚因子.

首先,我们先看看下面几张图

第一张图,属于高偏差,拟合程度不高

第三张图,属于高方差,拟合程度过高

所以,我们就是要找第二张图的模型.

到底什么是偏差和方差?

偏差:是衡量预测值与真实值的关系,是指预测值与真实值之间的差值.

方差:是衡量预测值之间的关系,和真实值无关.也就是他们的离散程度

误差 = 偏差 + 方差

当然,我们选择训练模型低偏差,低方差,这样误差最小.

就下来,我们用一个日常生活的例子,更进一步理解概念.