Lp范数详解

看到 代表范数（Norm）时一头雾水，这是啥。。。

先给一个通式

 再来一个图像

p=0 

表示向量中非0元素的个数

但由于是个NP-hard问题，很难求解，所以常将L0问题转为L1问题

p=1

表示向量中所有元素绝对值之和。

难有平滑解，借助现有凸优化算法（线性规划或是非线性规划），就能够找到我们想要的可行解。

p=2

表示向量（或矩阵）的元素平方和开根号，可理解为向量的模

更容易找到最优解

Why范数？

较小数据集时容易发生过拟合（机器太聪明而显得过于死板），所以需要范数稀释矩阵（使之变为稀疏矩阵）

How范数？

损失函数中加入正则项，比如用 L1范数表示的正则项，只要使得 L1范数的数值尽可能变小，就能够让我们期望的解变成一个稀疏解 (即解的很多元素为0)。

如果我们想解决的优化问题是损失函数最小化。优化目标就变成

What范数？

待训练集   Ax=b

A 是一个训练数据构成的矩阵，b是一个带有标签的向量，这里的x是我们希望求解出来的解。

 

 若A不是满秩的（训练样本行数少），x（特征）恰巧又很多，有那么x就不是唯一解

多余的x不是都有用，这样就要引入L1，x稀疏后非零值就为有用的特征（留下的都是有用的）

ps：稀疏程度要把范数数值和损失函数结合来看

 图像

如果我们绘制所有 L1 范数等于常数 c 的点，这些点应该形成如下所示的东西（红色）它的形状是一个正方形 (红色线)，不过在这些边上只有很少的点是稀疏的，即与坐标轴相交的4个顶点。

 

 把红色的正方形（ 范数为常数）与蓝色的线 （线性解）放在同一个坐标系，于是，我们发现蓝线与横轴的交点恰好是满足稀疏性要求的解。同时，这个交点使得 范数取得最小值。

更深层参考：

https://www.jianshu.com/p/de05e6745fb6

https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/

https://blog.mlreview.com/l1-norm-regularization-and-sparsity-explained-for-dummies-5b0e4be3938a