1. 偏差与方差
首先要了解两个概念:偏差与方差。
下图中红色中心为测试数据的真实标记;蓝色点为模型产生的预测值。
蓝色点的中心与红色中心的距离就是偏差(Bias)
蓝色小点与蓝色点中心的平均距离就是方差(Variance)
通俗理解就是,偏差指的是模型预测数据与真实数据的差距,用来表示模型预测的准确性;方差指的是模型预测数据的波动,用来表示模型预测的稳定性。
2. 欠拟合与过拟合
上图第一个模型中,通过对数据进行线性回归拟合,得到一条直线。但可以发现,实际数据与直线上的点有着很大的偏差(bais),可见线性回归并没有很好地拟合训练数据。此类情况称为欠拟合(underfitting),或者叫作叫做高偏差(bias)。
上图第二个模型中,在线性回归的基础上加入一个二次项,用二次函数去拟合。可以拟合出一条曲线,事实也证明这个拟合效果很好。
上图第三个模型中,对于该数据集用一个四次多项式来拟合。因此在这里我们有五个参数θ0到θ4,这样我们同样可以拟合一条曲线,通过我们的五个训练样本