L0, L1, L2 范数

L0范数：

    一个向量中非零元素的个数。

    是一个NP难问题，目前无法求解，通常转变成高阶范数求解。

 

L1范数：

    又称曼哈顿范数。

    x的L1范数为：

         

    两个向量x1，x2的范数为：

        

 

L2范数：

    x的L2范数为：

        

    两个向量x1, x2的2范数为：

        

 

L0和L1都可以实现稀疏，但是L0是NP难问题，无法求解，L1是L0的最优凸近似，比L0更容易求解，所以常用L1进行稀疏。（稀疏相当于特征选择，另外只选取少量的特征，便于分析理解。）

L2范数可以用拉格朗日乘数直接求解，计算方便，可以很容易地得到最优解。L2范数常用来防止过拟合，提高模型泛化能力。

机器学习最小化目标函数通常形式是 最小化（误差+额外项），这个额外项是一个惩罚项，可以防止模型过拟合，常是L1，L2。