偏差和方差理解

偏差bias

模型预测结果与样本的真实值之间的差距—偏差，偏差衡量的是模型的准确程度。
比如房价预测中，对某套房子A的价格预测为100万元，而A房子的实际售价为105万元，则bias=｜100-105｜=5万元。

方差var

模型预测结果的稳定性—方差，衡量模型的稳定程度。
比如房价预测中，对某套房子A的5次价格预测为100、99、100、101、98万元，说明模型较稳定，方差低；对某套房子A的5次价格预测为100、49、150、151、82万元，说明模型稳定性很差，方差很高；

**左上图中，低bias，低var：**说明模型的准确性和稳定性都很高，是极好的模型；

**右上图中，高bias，低var：**说明模型的准确性不错，但是稳定性很差，非最优模型，但可以做baseline模型，有一定的预测效果；

**左下图，低bias，高var：**说明模型的稳定性很好，但是准确性很差，说明预测结果整体偏离，可以对模型做一定的校准再进行测试，如果校准后还是效果很差，那该模型直接舍弃即可；

**右下图，低bias，低var：**极烂模型，无法使用。

算法中的应用

举一个最简单的算法中的例子，设置损失函数，利用梯度下降算法进行最优化求解的过程是在降低偏差，但是经常会引入正则化项，目的是为了降低方差，随着模型的训练和拟合，偏差会逐渐降低，与此同时方差会变大，正则化会有效限制增大的方差，保证模型的准确度和稳定性。