向量范数、函数范数、矩阵范数
向量范数(vector norm)的定义
记 ∥ x ∥ \left \| x \right \| ∥x∥为向量 x ∈ R n x \in R^n x∈Rn的某个实值函数,若满足条件:
(1)对
∀
x
∈
R
n
,
∥
x
∥
≥
0
\forall x \in R^n,\left \| x \right \|\geq 0
∀x∈Rn,∥x∥≥0,当且仅当
x
=
0
x=0
x=0时,
∥
x
∥
=
0
;
\left \| x \right \|=0;
∥x∥=0;(正定条件
)
(2)对 ∀ a ∈ R , ∥ a x ∥ = ∣ α ∣ ∥ x ∥ \forall a \in R,\left \| ax \right \|= \left | \alpha \right |\left \| x \right \| ∀a∈R,∥ax∥=∣α∣∥x∥;
(3)对
∀
x
,
y
∈
R
n
,
∥
x
+
y
∥
≤
∥
x
∥
+
∥
y
∥
,
\forall x,y \in R^n,\left \| x+y \right \|\leq \left \| x \right \|+\left \| y \right \|,
∀x,y∈Rn,∥x+y∥≤∥x∥+∥y∥,(三角不等式
)
则 ∥ x ∥ \left \| x \right \| ∥x∥是 R n R^n Rn上的范数。
对于实向量
x
=
[
x
1
,
x
2
,
.
.
.
,
x
n
]
T
x=[x_1,x_2,...,x_n]^T
x=[x1,x2,...,xn]T,有以下实向量
x
x
x的三种范数,它们都满足向量范数定义
中的条件。
(1)1-范数
:
∥
x
∥
1
=
∑
i
=
1
n
∣
x
i
∣
.
\left \| x \right \|_1=\sum_{i=1}^{n}\left | x_i \right |.
∥x∥1=∑i=1n∣xi∣.
(2)2-范数
:
∥
x
∥
2
=
(
∑
i
=
1
n
∣
x
i
∣
2
)
1
2
=
(
x
T
x
)
1
2
.
\left \| x \right \|_2=(\sum_{i=1}^{n}\left | x_i \right |^2)^{\frac{1}{2}}=(x^Tx)^{\frac{1}{2}}.
∥x∥2=(∑i=1n∣xi∣2)21=(xTx)21.
(3)
∞
\infty
∞-范数
:
∥
x
∥
∞
=
m
a
x
1
⩽
i
⩽
n
∣
x
i
∣
.
\left \| x \right \|_{\infty}=\underset{1\leqslant i\leqslant n}{max}\left | x_i \right |.
∥x∥∞=1⩽i⩽nmax∣xi∣.
1-范数也称为曼哈顿范数;2-范数也称为欧式范数,是欧几里得几何空间中向量长度的直接推广。这三种向量范数都属于一大类范数,称为p-范数
。
p-范数的定义
对于实向量
x
=
[
x
1
,
x
2
,
.
.
.
,
x
n
]
T
∈
R
n
x=[x_1,x_2,...,x_n]^T\in R^n
x=[x1,x2,...,xn]T∈Rn,它的p-范数
为
∥ x ∥ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p , p ⩾ 1. \left \| x \right \|_p=(\sum_{i=1}^{n}\left | x_i \right |^p)^{\frac{1}{p}},p\geqslant 1. ∥x∥p=(i=1∑n∣xi∣p)p1,p⩾1.
其中,1-范数、2-范数、和 ∞ \infty ∞-范数是p-范数的三种特殊情况(分别对应于 p = 1 , p = 2 , p → ∞ p=1,p=2,p\rightarrow \infty p=1,p=2,p→∞)
矩阵范数(matrix norm)的定义
记 ∥ A ∥ \left \| A \right \| ∥A∥为矩阵 A ∈ R n × n A\in R^{n\times n} A∈Rn×n的某个实值函数,若它满足条件
(1)对
∀
A
∈
R
n
×
n
,
∥
A
∥
⩾
0
\forall A\in R^{n\times n},\left \| A \right \|\geqslant 0
∀A∈Rn×n,∥A∥⩾0,当且仅当
A
=
O
A=O
A=O时,
∥
A
∥
=
0
\left \| A \right \|=0
∥A∥=0;(正定条件
)
(2)对 ∀ α ∈ R , ∥ α A ∥ = ∣ α ∣ ∥ A ∥ ; \forall \alpha \in R,\left \| \alpha A \right \|=\left | \alpha \right |\left \| A \right \|; ∀α∈R,∥αA∥=∣α∣∥A∥;
(3)对
∀
A
,
B
∈
R
n
×
n
,
∥
A
+
B
∥
⩽
∥
A
∥
+
∥
B
∥
;
\forall A,B\in R^{n\times n},\left \| A+B \right \|\leqslant \left \| A \right \|+\left \| B \right \|;
∀A,B∈Rn×n,∥A+B∥⩽∥A∥+∥B∥;(三角不等式
)
(4) ∥ A B ∥ ⩽ ∥ A ∥ ∥ B ∥ , \left \| AB \right \|\leqslant \left \| A \right \|\left \| B \right \|, ∥AB∥⩽∥A∥∥B∥,
则 ∥ A ∥ \left \| A \right \| ∥A∥是 R n × n R^{n\times n} Rn×n上的矩阵范数。
函数的范数的定义
(1) ∞ \infty ∞-范数
设 f ( x ) ∈ C [ a , b ] f(x)\in C[a,b] f(x)∈C[a,b],则 ∥ f ( x ) ∥ ∞ = m a x x ∈ [ a , b ] ∣ f ( x ) ∣ . \left \| f(x) \right \|_\infty=\underset{x\in[a,b]}{max}\left | f(x) \right |. ∥f(x)∥∞=x∈[a,b]max∣f(x)∣.
函数值绝对值的最大值。
(2)1-范数
∥ f ( x ) ∥ 1 = ∫ a b ∣ f ( x ) ∣ d x . \left \| f(x) \right \|_1=\int_{a}^{b}\left | f(x) \right |dx. ∥f(x)∥1=∫ab∣f(x)∣dx.
函数曲线与横轴之间的面积总和。
(3)2-范数
∥ f ( x ) ∥ 2 = [ ∫ a b f 2 ( x ) d x ] 1 2 . \left \| f(x) \right \|_2=\left [ \int_{a}^{b} f^2(x) dx \right ]^{\frac{1}{2}}. ∥f(x)∥2=[∫abf2(x)dx]21.
2-范数也常称为平方范数
。意义与1-范数大体上类似。