机器学习(八) 多项式回归与模型泛化(下)

六、验证数据集与交叉验证

七、偏差方差平衡

偏差方差权衡 Bias Variance Trade off

偏差 Bias

导致偏差的主要原因：

对问题本身的假设不正确！

如：非线性数据使用线性回归

欠拟合 underfitting

方差 Variance

数据的一点点扰动都会较大的影响模型

通常原因，使用的模型太复杂

如高阶多项式回归。

过拟合 overfitting

偏差和方差

有一些算法天生高方差，KNN

非参数学习通常都是高方差算法。因为不对数据进行任何假设。

有一些算法天生是高偏差算法。如线性回归。

参数学习通常都是高偏差算法。因为对数据具有极强的假设。

 

大多数算法具有相应的参数， 可以调整偏差和方差。

如 KNN中的 K

如线性回归中使用多项式回归

 

偏差和方差通常是矛盾的。

降低偏差，会提高方差。

降低方差，会提高偏差。

八、模型泛化与岭回归

 

 

九、LASSO  Regularization

 

 

 

 

 

 

 

 

十、L1, L2和弹性网络

 

 

 

 

我写的文章只是我自己对bobo老师讲课内容的理解和整理，也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理，也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理，也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。