什么是范数——一文轻松理解

定义

范数(Norm)是在线性代数和函数分析中广泛使用的一个概念,它为向量空间中的向量赋予一个长度或大小的度量。范数具有以下几个基本性质:

1. 非负性:对于任何向量x,范数||x|| >= 0,当且仅当x是零向量时,范数为0。

2. 绝对可加性:对任意向量x和y,有||x+y|| <= ||x|| + ||y||。

3. 齐次性:对任意向量x和任意标量k,有||kx|| = |k| ||x||。

几种常见范数，数字实例说明

下面我将具体介绍几种常见的范数:

1. 一范数(L1范数):
   定义为向量元素绝对值之和,形式为||x||1 = sum(|x1|, |x2|, …, |xn|)。
   例如,x = [2, -3, 1],则||x||1 = |2| + |-3| + |1| = 6。

2. 二范数(L2范数):
   也称为欧几里得范数,定义为向量元素平方和的正平方根,形式为||x||2 = sqrt(x1^2 + x2^2 + … + xn^2)。
   例如,x = [2, -3, 1],则||x||2 = sqrt(2^2 + (-3)^2 + 1^2) = sqrt(4 + 9 + 1) = sqrt(14) ≈ 3.74。

3. 无穷范数(L-inf范数):
   定义为向量元素绝对值的最大值,形式为||x||∞ = max(|x1|, |x2|, …, |xn|)。
   例如,x = [2, -3, 1],则||x||∞ = max(|2|, |-3|, |1|) = 3。

4. 泛化范数(Lp范数):
   L1和L2范数都是Lp范数在特殊情况下的形式,Lp范数定义为:
   ||x||p = (sum(|x1|^p, |x2|^p, …, |xn|^p))(1/p) (0 < p < +∞)

应用

范数在优化、机器学习、压缩感知等领域有广泛应用,如:

• 正则化项中常使用L1范数产生稀疏解,L2范数防止过拟合;
• 核范数用于低秩矩阵恢复问题;
• 压缩感知理论依赖于信号的L1或L0范数最小;
• 向量空间中的距离常由范数导出,如L2范数导出欧氏距离。

总之,范数为向量赋予了度量,是一个非常重要和有用的概念。不同范数具有不同的几何和代数特性,在不同应用场景下会有差异化的选择。