概念简述:
偏差:训练集预测的错误率,它是训练集预测结果与实际真值之间差距(距离的期望)。
方差:交叉验证集的错误率,它是验证集预测结果与训练集之间差距。
方差高:代表训练集过拟合。
偏差高:代表训练集欠拟合。
优化模型的方法
一、高偏差模型的优化方法:
- 增加特征参数:高偏差对应训练集欠拟合,增加特征参数可以让训练数据拟合得更好。
- 添加多项式特征;有点像添加添加额外的特征。
- 降低
值。降低
值等同减小损失函数的正则项,让优化更关注前一项,以期望算法在训练集上做得更好。
二、 高方差模型的优化方法:
- 增加训练用例:高方差对应训练集过拟合,而增加数据量来训练可以让训练集的误差相对增大,方差也随之降低。
- 减少特征参数:与高偏差相反。
- 增大
值:同上相反 。