范数理论及其应用
本系列博文主要总结学习矩阵论的心得笔记,参考数目《矩阵论》–张凯院;整个文章的整理体系参照行书过程。
范数–非负实数,用于衡量线性空间元素(如:向量,矩阵)的大小。凡是满足范数定义三个性质的 实值映射 都可以定义一种范数。最常见的范数:向量的2范数–用于计度量向量的欧式长度。
2.1向量范数及其性质
–>开篇 向量空间 R n R^n Rn 中的 向量序列 { x ( k ) } \{x^{(k)}\} {x(k)} 当 k − > ∞ k->\infty k−>∞ 时 每个分量都收敛于一个特定的值,则向量序列 { x ( k ) } \{x^{(k)}\} {x(k)}收敛 x x x。差值向量 { x ( k ) − x } \{x^{(k)}-x\} {x(k)−x}在 k − > ∞ k->\infty k−>∞ ,应当收敛于零向量。
2.1.1向量范数的定义
V
V
V是数域
K
K
K上的线性空间(线性空间:满足一定性质的集合),对于任意的
x
∈
V
x \in V
x∈V,如果一个实值函数
∣
∣
x
∣
∣
||x||
∣∣x∣∣满足下面三个性质,就说这个实值函数定义了一种向量范数。
1.非负性:当
x
≠
0
时
,
∣
∣
x
∣
∣
>
0
,
x
=
0
时
,
∣
∣
x
∣
∣
=
0
x \ne0时,||x||>0,x=0时,||x||=0
x̸=0时,∣∣x∣∣>0,x=0时,∣∣x∣∣=0
2.其次性:
∣
∣
a
x
∣
∣
=
∣
a
∣
∣
∣
x
∣
∣
,
(
a
∈
K
x
∈
V
)
||ax||=|a| ||x||,(a \in K x \in V)
∣∣ax∣∣=∣a∣∣∣x∣∣,(a∈Kx∈V)
3.三角不等式:
∣
∣
x
+
y
∣
∣
<
=
∣
∣
x
∣
∣
+
∣
∣
y
∣
∣
||x+y||<=||x||+||y||
∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣
要证明一个函数是否定义了一种范数,只要验证是否满足上面三个条件就可以了。
2.1.2性质3可以推导出:三角形任意两边的长度只差 < 第三边的长度:
∣
∣
∣
x
∣
∣
−
∣
∣
y
∣
∣
∣
<
=
∣
∣
x
−
y
∣
∣
| ||x||-||y|| |<=||x-y||
∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x−y∣∣
结合性质3,将用-y代替y,有
∣
∣
∣
x
∣
∣
−
∣
∣
y
∣
∣
∣
<
=
∣
∣
x
+
y
∣
∣
<
=
∣
∣
x
∣
∣
+
∣
∣
y
∣
∣
| ||x||-||y|| |<=||x+y||<=||x||+||y||
∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣
2.1.3常见的三种向量范数的定义:
1.向量的1范数:
∣
∣
x
∣
∣
=
∑
∣
x
i
∣
||x||=\sum|x_i|
∣∣x∣∣=∑∣xi∣×××××××××××××××××元素的绝对值的和
2.向量的2范数:
∣
∣
x
∣
∣
=
(
∑
x
i
2
)
1
2
||x||=(\sum x_i^2)^{\frac{1}{2}}
∣∣x∣∣=(∑xi2)21 ××××××××××××××元素平方和,再开方,最熟悉的欧式距离
3.向量的
∞
\infty
∞范数:
∣
∣
x
∣
∣
=
max
i
∣
x
i
∣
||x||=\max \limits_{i}|x_i|
∣∣x∣∣=imax∣xi∣ ×××××××××××××最大绝对值元素
对于三个定义,不难分别验证满足三条性质,即定义了三个范数。实际上,可以定义无限多种范数。
更一般的
p
p
p范数的定义(上面三个范数都是p范数的特例):
∣
∣
x
∣
∣
p
=
(
∑
∣
x
i
∣
p
)
1
p
||x||_p=(\sum |x_i|^p)^{\frac{1}{p}}
∣∣x∣∣p=(∑∣xi∣p)p1
2.1.4简单的 范数理解:在二维空间中两个点之间的距离度量方式可以为(1)两个点之间的欧氏距离–直线距离–2范数、(2)两个点之间的直角边和距离–1范数、(3)两个点之间最长直角边距离–无穷范数。
还可能会用到的范数:向量的椭圆范数、函数的积分范数P82
2.1.5向量范数的等价性:有限维线性空间的不同范数是等价的。如果向量序列对于某一范数下是收敛的,那么在其他范数下也是收敛的。
2.2矩阵范数
2.2.1 矩阵范数定义
->定义:
A
∈
C
m
∗
n
A \in C^{m*n}
A∈Cm∗n,一个实值函数
∣
∣
A
∣
∣
||A||
∣∣A∣∣ 满足以下三个条件,则定义了一个 广义矩阵范数。
1.非负性:当
A
≠
O
时
,
∣
∣
A
∣
∣
>
0
;
当
A
=
O
,
∣
∣
A
∣
∣
=
0
A \ne O时, ||A||>0;当A=O,||A||=0
A̸=O时,∣∣A∣∣>0;当A=O,∣∣A∣∣=0
2.其次性:
∣
∣
α
A
∣
∣
=
∣
α
∣
∣
∣
A
∣
∣
,
(
α
∈
C
)
||\alpha A||=|\alpha| ||A||,(\alpha \in C)
∣∣αA∣∣=∣α∣∣∣A∣∣,(α∈C)
3,三角不等式:
∣
∣
A
+
B
∣
∣
<
∣
∣
A
∣
∣
+
∣
∣
B
∣
∣
(
B
∈
C
m
∗
n
)
||A+B||<||A||+||B|| (B \in C^{m*n})
∣∣A+B∣∣<∣∣A∣∣+∣∣B∣∣(B∈Cm∗n)
在定义矩阵模时,考虑矩阵乘法 因素,就能够定义更常用的矩阵范数,同时满足4个的条件的实值映射
∣
∣
A
∣
∣
||A||
∣∣A∣∣为
A
A
A的 矩阵范数。
4 相容性:
∣
∣
A
B
∣
∣
<
=
∣
∣
A
∣
∣
∗
∣
∣
B
∣
∣
||AB||<=||A||*||B||
∣∣AB∣∣<=∣∣A∣∣∗∣∣B∣∣
->矩阵序列极限:当 A k − > A A^k->A Ak−>A,会有 ∣ ∣ A k ∣ ∣ − > ∣ ∣ A ∣ ∣ ||A^k||->||A|| ∣∣Ak∣∣−>∣∣A∣∣
2.2.2 矩阵F-范数
相容定义:
C
m
∗
n
C^{m*n}
Cm∗n上矩阵范数
∣
∣
∗
∣
∣
M
||*||_M
∣∣∗∣∣M 和
C
m
与
C
n
C^m与C^n
Cm与Cn的同类向量范数
∣
∣
∗
∣
∣
V
||*||_V
∣∣∗∣∣V 相容,当且仅当满足下式子:
∣
∣
A
x
∣
∣
V
<
=
∣
∣
A
M
∣
∣
×
∣
∣
x
∣
∣
V
||Ax||_V<=||A_M||×||x||_V
∣∣Ax∣∣V<=∣∣AM∣∣×∣∣x∣∣V
矩阵范数 与 向量范数 的 相容性=》 矩阵F-范数(各个元素平方和,再开方)
∣ ∣ A ∣ ∣ F = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = ( t r ( A H A ) ) 1 2 ||A||_F=(\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}=(tr(A^HA))^{\frac{1}{2}} ∣∣A∣∣F=(i=1∑mj=1∑n∣aij∣2)21=(tr(AHA))21
以上矩阵范数与向量2范数相容:首先要证明是一个矩阵范数(满足矩阵定义4条性质),其次再证明与向量2范数相容。
依据酉矩阵与F-范数的关系,有推论:和A酉相似的矩阵,其F-范数是相同的。
2.2.3 向量范数 诱导 矩阵范数
∣ ∣ A ∣ ∣ = max ∣ ∣ x ∣ ∣ = 1 ∣ ∣ A x ∣ ∣ ||A||=\max\limits_{||x||=1}||Ax|| ∣∣A∣∣=∣∣x∣∣=1max∣∣Ax∣∣
右边向量范数形式 定义 左式的矩阵范数的形式,对应为:矩阵-1范数,2-范数,无穷-范数。
证明上式定义了一个矩阵范数:有向量范数是其分量的连续函数的性质可知,对于每一个A而言,这个最大值都是可以达到的。也就是说能找到这样一个向量 x 0 x_0 x0满足 ∣ ∣ x 0 ∣ ∣ = 1 ||x_0||=1 ∣∣x0∣∣=1使得 ∣ ∣ A x 0 ∣ ∣ ||Ax_0|| ∣∣Ax0∣∣最大。(p89证明4条性质成立)
方阵 的 诱导矩阵范数 =1,但是方阵的 其他矩阵范数>=1
由定义式导出三种矩阵范数的具体形式:
矩阵1范数-列和范数:
∣
∣
A
∣
∣
1
=
max
j
∑
i
=
1
m
∣
a
i
j
∣
||A||_1=\max\limits_{j}\sum_{i=1}^m|a_{ij}|
∣∣A∣∣1=jmax∑i=1m∣aij∣
矩阵2范数-谱范数: ∣ ∣ A ∣ ∣ 2 = λ 1 ( λ 1 是 A H A 的 最 大 特 征 值 ) ||A||_2=\sqrt \lambda_1 (\lambda_1是A^HA 的最大特征值) ∣∣A∣∣2=λ1(λ1是AHA的最大特征值)
矩阵无穷范数-行和范数: ∣ ∣ A ∣ ∣ ∞ = max i ∑ j = 1 n ∣ a i j ∣ ||A||_\infty=\max\limits_i\sum_{j=1}^n|a_{ij}| ∣∣A∣∣∞=imax∑j=1n∣aij∣
2.2.4范数的一些应用
1.矩阵的谱半径 <= 矩阵范数(任意)
矩阵的谱半径(矩阵最大特征值 取绝对值)
ρ
(
A
)
=
max
i
∣
λ
i
∣
\rho(A)=\max\limits_i|\lambda_i|
ρ(A)=imax∣λi∣
ρ ( A ) < = ∣ ∣ A ∣ ∣ \rho(A)<=||A|| ρ(A)<=∣∣A∣∣
2.矩阵可逆条件:如果矩阵A的某种范数
∣
∣
A
∣
∣
<
1
||A||<1
∣∣A∣∣<1,则矩阵
I
−
A
I-A
I−A可逆:
∣
∣
(
I
−
A
)
−
1
∣
∣
<
=
∣
∣
I
∣
∣
1
−
∣
∣
A
∣
∣
||(I-A)^{-1}||<=\frac{||I||}{1-||A||}
∣∣(I−A)−1∣∣<=1−∣∣A∣∣∣∣I∣∣
当A接近于 O O O矩阵时 I 与 ( I − A ) − 1 I与(I-A)^{-1} I与(I−A)−1的逼近程度有一个公式:p93
3.逆矩阵的摄动–矩阵存在扰动A 与 原矩阵 两个矩阵逆矩阵之间的关系。
矩阵的条件数:
c
o
n
d
(
A
)
=
∣
∣
A
∣
∣
×
∣
∣
A
−
1
∣
∣
cond(A)=||A||×||A^-1||
cond(A)=∣∣A∣∣×∣∣A−1∣∣
一般来说,矩阵的条件数越大,扰动矩阵的逆 与 原矩阵的逆 之间的差距越大。