机器学习基础——L1，L2正则化

正则化项可以看做损失函数中添加惩罚项，惩罚项的目的在于对其中的一些参数进行限制。L1正则化的模型又称为Lasso回归，使用L2正则项的模型又称为岭回归（Ridge回归）。

L1:    L1正则化就是对loss加上w的绝对值的和，也就是1范数

L2：  L2正则化就是对loss加上w的平方和，也就是2范数

L1，L2都能用于防止过拟合，但是L2更常用。

L1可以产生稀疏的权值矩阵，即产生一个稀疏模型，用于特征选择。特征选择，在有些数据中，特征特别多，但其中有些特征对模型的贡献是很小的，甚至没有贡献，这些特征就可以去掉。

详细解释：https://blog.csdn.net/jinping_shi/article/details/52433975

https://www.jianshu.com/p/d17d032cfa96