向量范数和矩阵范数
1.范数意义
要更好的理解范数,就要从函数、几何与矩阵的角度去理解。
我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是函数的高度形象化,比如一个函数对应几何空间上若干点组成的图形。
但当函数与几何超出三维空间时,就难以获得较好的想象,于是就有了映射的概念,映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射,然后再讨论函数,这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系,(这里特指线性关系)于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合,而我们通常所说的基,就是这个集合的最一般关系。于是,我们可以这样理解,一个集合(向量),通过一种映射关系(矩阵),得到另外一个几何(另外一个向量)。
那么向量的范数,就是表示这个原有集合的大小。
而矩阵的范数,就是表示这个变化过程的大小的一个度量。
总结起来一句话,范数(norm),是具有“长度”概念的函数。
2.范数满足的三个特性
1.非负性:
∣
∣
x
∣
∣
≥
0
||x|| \geq 0
∣∣x∣∣≥0,且
∣
∣
x
∣
∣
=
0
||x||=0
∣∣x∣∣=0当且仅当
x
=
0
x=0
x=0时成立;
2.齐次性:
∣
∣
k
×
x
∣
∣
=
∣
k
∣
×
∣
∣
x
∣
∣
||k \times x||=|k| \times ||x||
∣∣k×x∣∣=∣k∣×∣∣x∣∣;
3.三角不等式:
∣
∣
x
+
y
∣
∣
≤
∣
∣
x
∣
∣
+
∣
∣
y
∣
∣
||x+y|| \leq ||x||+||y||
∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣.
3.向量范数计算
1-范数,计算方式为向量所有元素的绝对值之和。
∣
∣
x
∣
∣
1
=
∑
i
n
∣
x
i
∣
||x||_1 = \sum_{i}^{n}|x_i|
∣∣x∣∣1=i∑n∣xi∣
2-范数,计算方式跟欧式距离的方式一致。
∣
∣
x
∣
∣
2
=
(
∑
i
n
∣
x
i
∣
2
)
1
/
2
||x||_2 = ( \sum_{i}^{n}|x_i|^2)^{1/2}
∣∣x∣∣2=(i∑n∣xi∣2)1/2
∞
\infty
∞-范数,所有向量元素中的最大值。
∣
∣
x
∣
∣
∞
=
max
i
∣
x
i
∣
||x||_{\infty}=\max_{i}|x_i|
∣∣x∣∣∞=imax∣xi∣
−
∞
-\infty
−∞-范数,所有向量元素中的最小值。
∣
∣
x
∣
∣
−
∞
=
min
i
∣
x
i
∣
||x||_{-\infty}=\min_{i}|x_i|
∣∣x∣∣−∞=imin∣xi∣
p-范数,所有向量元素绝对值的p次方和的1/p次幂。
∣
∣
x
∣
∣
p
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
/
p
||x||_p=(\sum_{i=1}^{n}|x_i|^p)^{1/p}
∣∣x∣∣p=(i=1∑n∣xi∣p)1/p
4.矩阵范数计算
首先假设矩阵的大小为m ∗ n m*nm∗n,即m行n列。