范数的理解（概念、向量范数、矩阵范数）

范数的概念

在学习过程中，我们会用到1范数、2范数、p范数、∞范数去判断收敛性、稳定性。那么范数到底代表了什么呢？简单来说，范数就是一个衡量“距离”、“长度”或者“大小”的一个指标，该指标可以用来比较不同的“数”的大小。不同的范数种类代表了不同的衡量标准，但本质相同。

现实生活中，人的高矮可以用身高来衡量，两点之间的距离可以用尺子来测量。一维中的-1和10的距离，我们可以用他们差的绝对值来衡量。二维空间内点$（x_1,y_1）$,$（x_2,y_2）$的距离可以用通过${({(x_1-x_2)}^2+{(y_1-y_2)}^2)}^{1/2}$来衡量，三维空间两点$（x_1,y_1,z_1）$,$（x_2,y_2,z_2）$的距离可以用${({(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2)}^{1/2}$来衡量，当然三维空间内计算某个点到原点之间的距离就直接用${({x_1}^2+{y_1}^2+{z_1}^2)}^{1/2}$得到。这种距离的概念我们是习以为常的，但其实到这儿我们都已经在开始使用范数了，例子所说的衡量方式就利用到了二范数，后面会介绍到。
但这只是所有衡量方式的一种，假如在4维、5维、n维空间内，如何去衡量空间内某个“数”（向量）的大小呢（或是理解某个向量到空间内“原点”的“距离”）？这就涉及到了后面讲的向量范数。在$m$x$n$维的矩阵空间内，如何去衡量空间内某个“数”（矩阵）的大小呢？这涉及到后面讲的矩阵范数。

向量范数

定义

设$V$是$F$上的线性空间（加法、乘法具有封闭性），$V$上的实值函数
$$\Vert .\Vert :V\to {\mathbb{R}}^{+}$$
称为$V$上的一个范数，如果它满足
(1)正定性：对于任意非零向量$x$,都有$\Vert x\Vert >0$;
(2)正齐性：对于任意向量$x$以及任意数$k$,都有$\Vert kx\Vert =|k|\Vert x\Vert$;
(3)三角不等式：对于任意两个向量$x$和$y$,都有$\Vert x+y\Vert \ge \Vert x\Vert +\Vert y\Vert$;

向量范数类别

首先应该了解p-范数的概念：
$$\Vert x\Vert =(|x_n{|}^p+|x_n{|}^p+...+|x_n{|}^p{)}^{1/p},1\le p\le \infty$$
可以通过定义去证明这满足范数的定义。由此我们可以得到常用的$l_1$范数、$l_2$范数、$l_{\infty }$范数，2范数就是平常意义下我们所说的距离：

$l_1范数（对应曼哈顿距离）：\Vert x\Vert =(|x_1|+|x_2|+...+|x_n|)={\sum }_{i=1}^n|x_i|$

$l_2范数（对应欧式距离）：\Vert x\Vert =(|x_1{|}^2+|x_2|+...+|x_n{|}^2{)}^{1/2}=\sqrt{{\sum }_{i=1}^n|x_i{|}^2}$

$l_{\infty }范数（对应切比雪夫距离）：\Vert x\Vert =\max |x_1|,|x_2|,...,|x_n|$

矩阵范数

定义

设对任意的正整数$m$和$n$，以及任意的$m\times n$矩阵$A$,都有一个对应的实数$\Vert A\Vert$,若对应关系满足
称为$V$上的一个范数，如果它满足
(1)正定性：对于任意的$m\times n$非零矩阵$A$,都有$\Vert A\Vert >0$;
(2)正齐性：对于任意矩阵$A$以及任意数$k$,都有$\Vert kA\Vert =|k|\Vert A\Vert$;
(3)三角不等式(加法相容性)：若两个矩阵$A$和$B$可以相加,则$\Vert A+B\Vert \ge \Vert A\Vert +\Vert B\Vert$;
(4)乘法相容性：若两个矩阵$A$和$B$可以相乘,则$\Vert AB\Vert \ge \Vert A\Vert \Vert B\Vert$;
则称对应关系$\Vert .\Vert$是一个矩阵范数。

同样的，其可以理解为是一个映射，由矩阵空间映射到正实数域。并且满足上述条件$$\Vert .\Vert :{\mathrm{U}}_{\mathrm{m},\mathrm{n}\ge 1}{\mathrm{F}}^{\mathrm{m}\times \mathrm{n}}\to {\mathbb{R}}^{+}$$

矩阵范数类别

1 范 数 ： ∥ A ∥ 1 = max ⁡ { ∑ i = 1 m ∣ a i 1 ∣ , ∑ i = 1 m ∣ a i 2 ∣ , . . . , ∑ i = 1 m ∣ a i n ∣ } 1范数：\Vert A \Vert_1=\max \left\{{\sum_{i=1}^m|a_{i1}|},{\sum_{i=1}^m|a_{i2}|},...,{\sum_{i=1}^m|a_{in}|}\right\} 1范数：∥A∥1​=max{∑i=1m​∣ai1​∣,∑i=1m​∣ai2​∣,...,∑i=1m​∣ain​∣}(列和范数，A每一列元素绝对值之和的最大值）

$2范数：\Vert A{\Vert }_2=\max {\left\{{\lambda }_i(A^{H}A)\right\}}^{1/2}=\sqrt{\max |{\lambda }_i|}$(谱范数，即$A^{H}A$的最大特征值的模长的平方根，$A^H$代表$A$的共轭转置）

注意：特征值的模的最大值为A的谱半径，记为 ρ ( A ) = max ⁡ { ∣ λ i ∣ } \rho (A)=\max \left\{ |\lambda_i|\right\} ρ(A)=max{∣λi​∣}，注意要将谱半径与谱范数(2-范数)区别开来。谱范数是指$A^{H}A$的最大奇异值，即$A^{H}A$最大特征值的算术平方根 $\sqrt{{\lambda }_{max}(A^{H}A)}$。

$\infty 范数：\Vert A{\Vert }_{\infty }=\max \left\{{\sum }_{j=1}^n|a_{1j}|,{\sum }_{j=1}^n|a_{2j}|,...,{\sum }_{j=1}^n|a_{mj}|\right\}$(行和范数，A每一行元素绝对值之和的最大值）