学习笔记——机器学习（偏差bias与方差variance）

在统计学里，通常会用偏差和方差来衡量一个模型
模型误差=方差+偏差+噪声等不可避免误差

1.概念

偏差指模型预测的期望值与真实值之间的差，描述模型的拟合能力，度量期望输出与真实结果的偏离程度。

方差指模型预测的期望值与预测值之间的差平方和，度量模型的稳定性。

2.出现偏差和方差的原因

偏差的出现可能模型本身有问题，比如拟合一个二次函数，而预测模型为一次函数，这样会导致偏差过大，对应欠拟合；

方差的体现一般在输入数据的一个细微扰动，可能就会得到不同输出，导致方差偏大，对应过拟合。

3.权衡偏差与方差

对偏差过大，一般由于模型比较简单，可以增多数据特征数、添加高次多项式特征、减少正则化系数；

对方差过大，一般由于模型比较复杂，可以降低模型复杂度，减少数据维度，降噪，增加样本数，模型正则化。