机器学习之L1正则化和L2正则化比较附经典面试题

正则化项公式

1. L1正则化：权值向量w中各个元素的绝对值之和：
   

2. L2正则化：权值向量w中各个元素的平方和：
   

比较：L1正则化 VS L2正则化

3. L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
4. L2正则化可以防止模型过拟合（overfitting）

经典面试题

为什么 L1 正则可以产生稀疏模型（很多参数=0），而 L2 正则不会出现很多参数为0的情况？

这是一个有限制条件的最优化问题
图中圆心是损失函数的最小值，交点处的菱形和圆形是l1和l2正则化需要兼顾的范围。