机器学习简记：偏差、方差及优化模型的方法

概念简述：

偏差：训练集预测的错误率，它是训练集预测结果与实际真值之间差距（距离的期望）。

方差：交叉验证集的错误率，它是验证集预测结果与训练集之间差距。

方差高：代表训练集过拟合。

偏差高：代表训练集欠拟合。

优化模型的方法

一、高偏差模型的优化方法：

1. 增加特征参数：高偏差对应训练集欠拟合，增加特征参数可以让训练数据拟合得更好。
2. 添加多项式特征；有点像添加添加额外的特征。
3. 降低值。降低值等同减小损失函数的正则项，让优化更关注前一项，以期望算法在训练集上做得更好。

二、 高方差模型的优化方法：

1. 增加训练用例：高方差对应训练集过拟合，而增加数据量来训练可以让训练集的误差相对增大，方差也随之降低。
2. 减少特征参数：与高偏差相反。
3. 增大值：同上相反 。