【学习笔记】范数

向量和矩阵的范数归纳

向量的范数

​ 定义一个向量为：$a=[-5,6,8,-10]$。任意一组向量设为$x=(x_1,x_2,...,x_N)$。其不同范数求解如下：

• 向量的1范数：向量的各个元素的绝对值之和，上述向量$a$的1范数结果就是：29。 $$\Vert x{\Vert }_1=\sum _{i=1}^N|x_i|$$
• 向量的2范数：向量的每个元素的平方和再开平方根，上述$a$的2范数结果就是：15。$$\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^N{|x_i|}^2}$$
• 向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量$a$的负无穷范数结果就是：5。$$\Vert x{\Vert }_{-\infty }=\min |x_i|$$
• 向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量$a$的正无穷范数结果就是：10。$$\Vert x{\Vert }_{+\infty }=\max |x_i|$$
• 向量的p范数：$$L_p=\Vert x{\Vert }_p=\sqrt[p]{\sum _{i=1}^N|x_i{|}^p}$$

矩阵的范数

定义一个矩阵$A=\left[\begin{array}{ccc}-1& 2& -3\\ 4& -6& 6\end{array}\right]$。 任意矩阵定义为：$A_{m\times n}$，其元素为 $a_{ij}$。

矩阵的范数定义为

$$\Vert A{\Vert }_p:=\underset{x̸=0}{\sup }\frac{\Vert Ax{\Vert }_p}{\Vert x{\Vert }_p}$$

当向量取不同范数时, 相应得到了不同的矩阵范数。

• 矩阵的1范数（列范数）：矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大），上述矩阵$A$的1范数先得到$[5,8,9]$，再取最大的最终结果就是：9。$$\Vert A{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|$$
• 矩阵的2范数：矩阵$A^{T}A$的最大特征值开平方根，上述矩阵$A$的2范数得到的最终结果是：10.0623。$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{max}(A^{T}A)}$$
  其中， ${\lambda }_{max}(A^{T}A)$ 为 $A^{T}A$ 的特征值绝对值的最大值。
• 矩阵的无穷范数（行范数）：矩阵的每一行上的元素绝对值先求和，再从中取个最大的（行和最大），上述矩阵$A$的行范数先得到$[6；16]$，再取最大的最终结果就是：16。 $$\Vert A{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$
• 矩阵的核范数：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A最终结果就是：10.9287。
• 矩阵的L0范数：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏，上述矩阵$A$最终结果就是：6。
• 矩阵的L1范数：矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏，上述矩阵$A$最终结果就是：22。
• 矩阵的F范数：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在于它是一个凸函数，可以求导求解，易于计算，上述矩阵A最终结果就是：10.0995。
  $$\Vert A{\Vert }_F=\sqrt{(\sum _{i=1}^m\sum _{j=1}^n{|a_{ij}|}^2)}$$
• 矩阵的L21范数：矩阵先以每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范数（也可认为是向量的1范数），很容易看出它是介于L1和L2之间的一种范数，上述矩阵$A$最终结果就是：17.1559。
• 矩阵的 p范数 $$\Vert A{\Vert }_p=\sqrt[p]{(\sum _{i=1}^m\sum _{j=1}^n{|a_{ij}|}^p)}$$