【学习笔记】线性回归：Lasso和Ridge的区别

老会记不住这两个的区别

Lasso：在常规的loss function后面加一个L1范式。
惩罚项越大意味着模型越简单，越来越多的特征系数被压缩到0，当惩罚项无限大的时候，只剩一个常数项，此时bias大variance小；惩罚项越小意味着模型越复杂，当惩罚项为0时，Lasso和OLS是一样的。
Lasson即可以做特征选择，也可以做压缩。
当两个或多个特征相关时，Lasso会选把其余的特征都压缩为0，只剩一个特征，所以lasso是可以解决多元共线性的问题（ridge也可以）

Ridge：只能做压缩。因为Ridge不会把特征系数压缩到0，只会无限的趋紧于0。
在常规的loss function后面加一个L2范式。