偏差，残差，方差在机器学习中的区别

1.偏差与方差的区别

定义

偏差（bias）：
偏差衡量了模型的预测值与实际值之间的偏离关系。通常在深度学习中，我们每一次训练迭代出来的新模型，都会拿训练数据进行预测，偏差就反应在预测值与实际值匹配度上，比如通常在keras运行中看到的准确度为96%，则说明是低偏差；反之，如果准确度只有70%，则说明是高偏差。
方差（variance）：
方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。从数学角度看，可以理解为每个预测值与预测均值差的平方和的再求平均数。通常在深度学习训练中，初始阶段模型复杂度不高，为低方差；随着训练量加大，模型逐步拟合训练数据，复杂度开始变高，此时方差会逐渐变高。

形象理解

对于模型训练的意义

1. 低偏差，低方差：这是训练的理想模型，此时蓝色点集基本落在靶心范围内，且数据离散程度小，基本在靶心范围内；
2. 低偏差，高方差：这是深度学习面临的最大问题，过拟合了。也就是模型太贴合训练数据了，导致其泛化（或通用）能力差，若遇到测试集，则准确度下降的厉害；
3. 高偏差，低方差：这往往是训练的初始阶段；
4. 高偏差，高方差：这是训练最糟糕的情况，准确度差，数据的离散程度也差。

参考网址：https://zhidao.baidu.com/question/1996693927462822107.html

2.偏差与残差，方差间的区别

定义

残差（可以理解为噪声）：
指预测结果与真实值之间的差异，这么一看，和模型偏差的定义很接近，两者的区别是偏差是模型拟合度不够导致。而残差是模型准确，但仍然与真实值有一定的差异，这里可以理解成噪声，噪声是随机的，意味着不可预测，而偏差不是随机产生的，可通过一定的特征工程进行预测

三者的关系形象理解

对模型起决定性影响的是偏差和方差，模型过于简单必然导致偏差过大，过于复杂必然导致方差过大，需根据图中折中选择。
上图可以分为两个部分，以中间的虚线隔开，左边部分为欠拟合状态，右边部分为过拟合状态，针对欠拟合和过拟合的处理方式如下：

a、欠拟合：偏差过大，做特征工程、减小(弱)正则化系数；

b、过拟合：方差过大，可增加样本、减少特征、增加(强)正则化系数；

偏差和方差贯穿整个建模过程，因此关注偏差和方差的影响，能够找到模型优化方向，而不是盲目的增加特征，增加样本不断试验。

参考网址：https://zhuanlan.zhihu.com/p/50214504