向量与矩阵范数

范数(norm)，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。

举一个简单的例子，在二维的欧氏几何空间 R就可定义欧氏范数。在这个矢量空间中的元素常常在笛卡儿坐标系统中被画成一个从原点出发的带有箭头的有向线段。每一个矢量的欧氏范数就是有向线段的长度。

其中定义范数的矢量空间就是赋范矢量空间。同样，其中定义半范数的矢量空间就是赋半范矢量空间。

向量范数

概念

设函数$f:R^n\rightarrow R$，若$f$满足

1. 正定性：$f(x)\geq 0，\forall x\in R^n$，等号当且仅当$x=0$时候成了。
   • 正齐次性：$f(\alpha x) = |\alpha|\times f(x)，\forall x\in R^n，\forall \alpha \in R$。
   • 次可加性（三角不等式）：$f(x+y)\leq f(x)+f(y)$。

   • 例如：

     $$\|x\|_p=(\sum_{i=1}^n|x_i|^p)^{1\over p},p\in [1,\infty)是R^n上的向量范数。$$

     常见的范数

     这里以$C^n$空间为例，$R^n$空间类似。
     最常用的范数就是p-范数。若$x=[x_1,x_2,\dots,x_n]^T$，那么

     $$\|x\|_p=(|x_1|^p+|x_2|^p+\dots+|x_n|^p)^{1\over p}$$

     可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

     当p取1，2，∞的时候分别是以下几种最简单的情形：
     1-范数：$║x║_1=│x_1│+│x_2│+…+│x_n│$
     2-范数：$║x║_2=(│x_1│^2+│x_2│^2+…+│x_n│^2)^{1/2}$
     ∞-范数(最大范数)： ║x║∞=max(│x1│