向量范数与矩阵范数

转载自：https://blog.csdn.net/bitcarmanlee/article/details/51945271

1.范数(norm)的意义
要更好的理解范数，就要从函数、几何与矩阵的角度去理解。 
我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。 
但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。 
为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。 
那么向量的范数，就是表示这个原有集合的大小。 
而矩阵的范数，就是表示这个变化过程的大小的一个度量。

总结起来一句话，范数(norm)，是具有“长度”概念的函数。

2.范数满足的三个特性
1.非负性: ||x||≥0||x||≥0，且||x||=0||x||=0当且仅当x=0x=0时成立 。 
2.齐次性: ||k⋅x||=|k|⋅||x||||k⋅x||=|k|⋅||x|| 
3.三角不等式: ||x+y||≤||x||+||y||||x+y||≤||x||+||y||
3.向量的范数
1-范数，计算方式为向量所有元素的绝对值之和。 
||x||1=∑in|xi|
||x||1=∑in|xi|

2-范数，计算方式跟欧式距离的方式一致。 
||x||2=(∑i=1n|xi|2)12
||x||2=(∑i=1n|xi|2)12

∞∞-范数，所有向量元素中的最大值。 
||x||∞=maxi|xi|
||x||∞=maxi|xi|

−∞−∞-范数，所有向量元素中的最小值。 
||x||−∞=mini|xi|
||x||−∞=mini|xi|

pp-范数，所有向量元素绝对值的p次方和的1/p次幂。 
||x||p=(∑i=1n|xi|p)1p
||x||p=(∑i=1n|xi|p)1p
4.矩阵的范数
首先假设矩阵的大小为m∗nm∗n，即m行n列。

1-范数，又名列和范数。顾名思义，即矩阵列向量中绝对值之和的最大值。 
||A||1=maxj∑i=1m|aij|
||A||1=maxj∑i=1m|aij|

2-范数，又名谱范数，计算方法为ATAATA矩阵的最大特征值的开平方。 
||A||2=λ1‾‾√
||A||2=λ1

其中λ1λ1为ATAATA的最大特征值。
∞∞-范数，又名行和范数。顾名思义，即矩阵行向量中绝对值之和的最大值。 
||A||∞=maxj∑i=1n|aij|
||A||∞=maxj∑i=1n|aij|
F-范数，Frobenius范数，计算方式为矩阵元素的绝对值的平方和再开方。 
||A||F=(∑i=1m∑j=1n|aij|2)12
--------------------- 
作者：bitcarmanlee 
来源：CSDN 
原文：https://blog.csdn.net/bitcarmanlee/article/details/51945271 
版权声明：本文为博主原创文章，转载请附上博文链接！