L1正则项与稀疏性

题目（164）：L1正则化使得模型参数具有稀疏性的原理是什么？

回答角度：

1. 几何角度，即解空间形状
2. 微积分角度，对带L1限制的目标函数求导
3. 贝叶斯先验

解空间形状

Step 1. 正则条件和限制条件的等价性
Step 2. L1范数与L2范数的几何形状
Step 3. 如果原问题目标函数的最优解不在解空间内，那么约束条件下的最优解一定是在解空间的边界上。
$\text{[复习KKT, complementary slackness]}$

微积分、函数叠加

损失函数加入L1正则后，目标函数变为$J(\mathbf{\theta })=L(\mathbf{\theta })+c\Vert \mathbf{\theta }{\Vert }_1$。When $\mathbf{\theta }>0$, the gradient of $c\Vert \mathbf{\theta }{\Vert }_1$ equals $c$; when $\mathbf{\theta }<0$, the gradient of $c\Vert \mathbf{\theta }{\Vert }_1$ equals $-c$. Therefore, if the gradient of $L(\mathbf{\theta })$ lies within $(-c,c)$, the gradient of $J(\mathbf{\theta })$ is always negative for $\mathbf{\theta }<0$, indicating that $J(\mathbf{\theta })$ is monotonically decreasing on the left of the origin; its gradient is always positive for $\mathbf{\theta }>$