线性回归3：正则化-岭回归

过拟合解决办法：

• 加数据

• 特征选择/特征提取（比如PCA）

• 正则化

正则化框架：

常用的有两种范数:

L1正则是不存在解析解的，我们能求L2范数的目标函数：

所以w为：

对目标函数求导，令其导数为0：

得w估计：

与最小二乘估计对比：