机器学习系列手记（七）：优化算法之L1正则化与稀疏性

优化算法

L1正则化与稀疏性

      稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。下面我们来说说L1正则化使得模型参数具有稀疏性的原理。

      角度一：解空间形状
      在二维的情况下，黄色部分是L2和L1正则化约束后的解空间，绿色的等高线是凸优化问题中目标函数的等高线，见下图。由图可知，L2正则化约束后的解空间是圆形，而L1正则化约束的解空间是多边形。显然，多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。

      L2正则化相当于为参数定义了一个圆形的解空间，而L1正则化相当于为参数定义了一个菱形的解空间。如果原问题目标函数的最优解不是恰好落在解空间内，那么约束条件下的最优解一定是在解空间的边界上，而L2“棱角分明”的解空间显然更容易与目标函数等高线在角点碰撞，从而产生稀疏解。

      角度二：函数叠加
      第二个角度试图用更直观的图示来解释L1产生稀疏性这一现象。仅考虑一维情况，多维情况是类似的，如下图所示。假设棕线是原始目标函数 的曲线图，显然最小值点在蓝点处，且对应的 $w^{\ast }$ 值非0。