机器学习（七）：稀疏表示与字典学习（L0，L1，L2范数）

机器学习系列主要为 我在国科大研一期间，在《机器学习方法与应用》课程中所学知识概述，以及课后补充学习的内容。

---------------------------------------------------------------------------------------------------------------------------

L0范数指向量中非零元素的个数

L1范数：向量中每个元素绝对值的和

L2范数：向量元素绝对值的平方和再开平方

L2正则化——让模型变得简单 ：可以解决模型训练中的过拟合现象，它也被称为权重衰减。使用一个乘性因子去调整权重，因此权重会不断衰减，并且在权重较大时衰减地快，权重较小时衰减地慢。

L1,L0正则化——让模型变得稀疏：

L0正则化：L0正则化就是限制非零元素的个数在一定的范围，这很明显会带来稀疏。一般而言，用L0范数实现稀疏是一个NP-hard问题，因此人们一般使用L1正则化来对模型进行稀疏约束。

L1正则化：通过加上或者减去一个常量，让w向0靠近。相比L2正则化，L1对于小权重减小地很快，对大权重减小较慢，因此最终模型的权重主要集中在那些高重要度的特征上，对于不重要的特征，权重会很快趋近于0。所以最终权重w会变得稀疏。