【向量范数】详解常用的向量范数

1、Lp范数

对应于闵可夫斯基距离(Minkowski distance)，假设维向量，其Lp范数记作，定义为：

2、L0范数

假设维向量，其L0范数记作，定义为：

L0范数表示向量中非零项的个数，因而L0范数常常用于稀疏编码。在特征选择中，通过最小化L0范数来寻找最少最优的稀疏特征项。不过这个问题是个NP难问题，而L1范数是L0范数的最优凸近似，经常需要转换为求解L1范数。

3、L1范数

当P=1时，也就是L1范数，对应曼哈顿距离(Manhattan distance)，假设维向量，其L1范数记作，定义为：

 

L1范数表示向量中各个元素绝对值之和，也被称作“Lasso regularization”（稀疏规则算子）。

4、L2范数

当P=2时，也就是L2范数，对应欧式距离 (Manhattan distance)， 假设维向量，其L2范数记作，定义为：

 

L2范数是最常用的范数，它表示从原点出发到向量确定的点的欧几里得距离。可用于优化正则化项，避免过拟合。

5、无穷范数

无穷范数对应切比雪夫距离 (Chebyshev distance)， 假设维向量，其无穷范数记作，定义为：

 

它主要被用来度量向量中元素的最大值。