正则化防止过拟合,提高模型的泛化能力。
1. 线性回归
常见损失函数
可用最小二乘法求得最优解
但如果协方差矩阵不可逆,目标函数最小化导数为0时有无穷解,无法求得最优解。特别是p > n时,难以求得最优解,也有过拟合问题。
因此需要对w做限制,使得最优解空间变小,即进行正则化。
2. L1-范式(Lasso)
Lasso的稀疏结果可以用来进行特征选择,选择非零的维度。
稀疏性在提高模型的准确性以及降低overfitting方面都很有作用。
稀疏约束。L0最直观,约束非0元素的个数不大于k。但0范式不连续且非凸,是一个组合优化问题,找出目标函数最小值对应的系数组合为一个NP问题。
L1是L0范式的最优凸近似,也可以达到稀疏的效果。
L1范式在0点连续不可导,求解困难。
最小角回归(LAR)和forward stagewise selection可