一、向量范数
定义:(向量范数)对 ∀ x ∈ R n ( 或 C n ) \forall x\in \rm R^n(或\rm C^n) ∀x∈Rn(或Cn),存在唯一的实数 ∣ ∣ x ∣ ∣ \vert\vert x\vert\vert ∣∣x∣∣与之对应,满足条件:
- ∣ ∣ x ∣ ∣ ≥ 0 \vert\vert x\vert\vert\ge0 ∣∣x∣∣≥0,当且仅当 x = 0 x=0 x=0时, ∣ ∣ x ∣ ∣ = 0 \vert\vert x\vert\vert=0 ∣∣x∣∣=0;(正定性)
- 对 ∀ λ ∈ R n ( 或 C n ) \forall \lambda \in \rm R^n(或\rm C^n) ∀λ∈Rn(或Cn),有 ∣ ∣ λ x ∣ ∣ = ∣ λ ∣ ∣ ∣ x ∣ ∣ \vert\vert\lambda x\vert\vert=\vert\lambda\vert\vert\vert x\vert\vert ∣∣λx∣∣=∣λ∣∣∣x∣∣;(齐次性)
- 对 ∀ x , y ∈ R n ( 或 C n ) \forall x,y \in \rm R^n(或\rm C^n) ∀x,y∈Rn(或Cn),有 ∣ ∣ λ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ \vert\vert\lambda x+y\vert\vert\le\vert\vert x \vert\vert+\vert\vert y\vert\vert ∣∣λx+y∣∣≤∣∣x∣∣+∣∣y∣∣.(三角不等式)
则称 ∣ ∣ x ∣ ∣ \vert\vert x\vert\vert ∣∣x∣∣是 R n ( 或 C n ) \rm R^n(或\rm C^n) Rn(或Cn)上的向量范数.
常用的向量范数
对 ∀ x = ( x 1 , ⋯ , x n ) T ∈ R n \forall x=(x_1,\cdots,x_n)^{\rm T}\in\rm R^n ∀x=(x1,⋯,xn)T∈Rn, R n \rm R^n Rn中三种常用的范数为
- ∣ ∣ x ∣ ∣ ∞ = m a x 1 ⩽ i ⩽ n ∣ x i ∣ \vert\vert x\vert\vert_\infty=\mathop{max}\limits_{1 \leqslant i \leqslant n} |x_i| ∣∣x∣∣∞=1⩽i⩽nmax∣xi∣,称为 ∞ \infty ∞范数或最大范数;
- ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 n ∣ x i ∣ \vert\vert x\vert\vert_1=\sum_{i=1}^n\vert x_i\vert ∣∣x∣∣1=∑i=1n∣xi∣,称为1-范数;
- ∣ ∣ x ∣ ∣ 2 = ( ∑ i = 1 n x i 2 ) 1 2 \vert\vert x\vert\vert_2=(\sum_{i=1}^nx_i^2)^\frac{1}{2} ∣∣x∣∣2=(∑i=1nxi2)21,称为2-范数或欧式范数.
一般的, ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p ( 0 ≤ p ≤ ∞ ) \vert\vert x\vert\vert_p=(\sum_{i=1}^n\vert x_i\vert^p)^\frac{1}{p}(0\le p\le\infty) ∣∣x∣∣p=(∑i=1n∣xi∣p)p1(0≤p≤∞)称为向量的p范数.
二、矩阵范数
定义:(矩阵范数)对 ∀ A ∈ R n × n \forall A\in \rm R^{n×n} ∀A∈Rn×n,存在唯一的实数 ∣ ∣ A ∣ ∣ \vert\vert A\vert\vert ∣∣A∣∣与之对应,满足条件:
- ∣ ∣ A ∣ ∣ ≥ 0 \vert\vert A\vert\vert\ge0 ∣∣A∣∣≥0,当且仅当 A = 0 A=0 A=0时, ∣ ∣ A ∣ ∣ = 0 \vert\vert A\vert\vert=0 ∣∣A∣∣=0;(正定性)
- 对 ∀ λ ∈ R n ( 或 C n ) \forall \lambda \in \rm R^n(或\rm C^n) ∀λ∈Rn(或Cn),有 ∣ ∣ λ A ∣ ∣ = ∣ λ ∣ ∣ ∣ A ∣ ∣ \vert\vert\lambda A\vert\vert=\vert\lambda\vert\vert\vert A\vert\vert ∣∣λA∣∣=∣λ∣∣∣A∣∣;(齐次性)
- 对 ∀ A , B ∈ R n × n \forall A,B \in \rm R^{n×n} ∀A,B∈Rn×n,有 ∣ ∣ A + B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ + ∣ ∣ B ∣ ∣ \vert\vert A+B\vert\vert\le\vert\vert A \vert\vert+\vert\vert B\vert\vert ∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣;(三角不等式)
- 对 ∀ A , B ∈ R n × n \forall A,B\in R^{n×n} ∀A,B∈Rn×n,有 ∣ ∣ A B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ ∣ ∣ B ∣ ∣ \vert\vert AB\vert\vert\le\vert\vert A\vert\vert\vert\vert B\vert\vert ∣∣AB∣∣≤∣∣A∣∣∣∣B∣∣.(相容性)
则称 ∣ ∣ A ∣ ∣ 是 R n × n \vert\vert A\vert\vert是\rm R^{n×n} ∣∣A∣∣是Rn×n上的矩阵范数.
常用的矩阵范数
设 A = ( a i j ) ∈ C n × n A=(a_{ij})\in C^{n×n} A=(aij)∈Cn×n,则下面三种规定的实值函数
- ∣ ∣ A ∣ ∣ m 1 = ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ \vert\vert A\vert\vert_{m1}=\sum_{i=1}^n\sum_{j=1}^n\vert a_{ij}\vert ∣∣A∣∣m1=∑i=1n∑j=1n∣aij∣;
- ∣ ∣ A ∣ ∣ m ∞ = n ⋅ m a x i , j ∣ a i , j ∣ \vert\vert A\vert\vert_{m\infty}=n·\mathop{max}\limits_{i,j}\vert a_{i,j}\vert ∣∣A∣∣m∞=n⋅i,jmax∣ai,j∣;
- ∣ ∣ A ∣ ∣ m 2 = ( ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 \vert\vert A\vert\vert_{m2}=(\sum_{i=1}^n\sum_{j=1}^n\vert a_{ij}\vert^2)^\frac{1}{2} ∣∣A∣∣m2=(∑i=1n∑j=1n∣aij∣2)21.(也称F范数)
都是矩阵A的范数.
矩阵常用算子范数
设 A = ( a i j ) ∈ C n × n A=(a_{ij})\in C^{n×n} A=(aij)∈Cn×n, x = ( x 1 , x 2 , ⋯ , x n ) T ∈ C n x=(x_1,x_2,\cdots,x_n)^{\rm T}\in C^n x=(x1,x2,⋯,xn)T∈Cn,则从属于向量 x x x的3种范数 ∣ ∣ x ∣ ∣ 1 \vert\vert x\vert\vert_1 ∣∣x∣∣1, ∣ ∣ x ∣ ∣ 2 \vert\vert x\vert\vert_2 ∣∣x∣∣2, ∣ ∣ x ∣ ∣ ∞ \vert\vert x\vert\vert_\infty ∣∣x∣∣∞的算子范数依次是
1.
∣
∣
A
∣
∣
1
\vert\vert A\vert\vert_1
∣∣A∣∣1=
m
a
x
j
∑
i
=
1
m
∣
a
i
j
∣
\mathop{max}\limits_{j}\sum_{i=1}^m\vert a_{ij}\vert
jmax∑i=1m∣aij∣,称为列范数;
2.
∣
∣
A
∣
∣
2
\vert\vert A\vert\vert_2
∣∣A∣∣2=
λ
m
a
x
(
A
H
A
)
\sqrt{\lambda_{max}(A^{\rm H}A)}
λmax(AHA),称为谱范数,其中
λ
m
a
x
(
A
H
A
)
\lambda_{max}(A^{\rm H}A)
λmax(AHA)是矩阵
(
A
H
A
)
(A^{\rm H}A)
(AHA)特征值绝对值的最大值;
3.
∣
∣
A
∣
∣
∞
\vert\vert A\vert\vert_{\infty}
∣∣A∣∣∞=
m
a
x
i
∑
j
=
1
n
∣
a
i
j
∣
\mathop{max}\limits_{i}\sum_{j=1}^n\vert a_{ij}\vert
imax∑j=1n∣aij∣,称为行范数.