误差(泛化误差)=偏差(bias),+方差(variance) +噪声(noise)
偏差:【预测值-真实值的偏离程度】--【算法的拟合能力】--boosting
Boosting使loss减少,可以降低bias。这里的模型之间并不独立,所以不能显著减少variance
方差:【结果的波动程度】--【学习性能】-- bagging
(1)Bagging模型独立,通过重采样的方法来得到不同的模型。
(2)正则化:模型为了拟合所有的训练集数据, 参数w可以变得任意大从而使得模型不稳定,即方差大而偏差小
L1正则:会惩罚若干项系数为0,降低模型方程阶次,使得其更加趋于线性化
L2正则:将若干项系数赋予一个极小数,降低模型的复杂程度,使得模型曲线化、平滑化
(3)K折交叉验证:
初始采样分割成K个子样本,一个单独的子样本被保留作为验证模型的数据,其他K-1个样本用来训练。交叉验证重复K次,
每个子样本验证一次,平均K次的结果或者使用其它结合方式,最终得到一个单一估测
当K值大的时候, 我们会有更少的Bias(偏差), 更多的Variance。
当K值小的时候, 我们会有更多的Bias(偏差), 更少的Variance。