l1正则化表达式_L1正则化相比L2正则化更能得到稀疏解的巧妙解释

本学期是机器学习课的助教，布置作业过程中看到这个有趣的问题。

考虑一个非常简单的优化问题

L2正则化约束

加上L2正则化约束后，优化问题变成了

，该问题的最优解为

，当且仅当

时，最优解为0.

L1正则化约束

加上L1正则化约束后，优化问题成为

，简单分类讨论一下，有三种情况：

其中，

时，最优解均为0.

总结

由此可以看到，采用L1正则化，最优解为0的条件为

；而在L2正则化时，最优解为0当且仅当

。所以，

采用L1正则化，最优解为0的概率极大增加，这使得得到的解更可能是稀疏的。

这里仅对一维的简单情况进行了分析，但是它可以拓展到高维情况，以至于一般的线性回归的情况。