l1约束比l2约束更容易获得稀疏解

本文内容受到了知乎相关问题的启发，本人做了一些整理和补充。

$l_1$和$l_2$约束

将损失函数$L(w)$看作参数$w$的函数，则$l_1$约束的形式是：
$$L=L(w)+\lambda {\Vert w\Vert }_1\text{\hspace{1em}(1)}$$
$l_2$约束的形式是：
$$L=L(w)+\frac{1}{2}\lambda {\Vert w\Vert }_2^2\text{\hspace{1em}(2)}$$

解释一

设不添加约束时，$L(w)$的图像如下图所示，使用梯度下降法找到的最优解是途中的绿色点。