一、范数定义
1、定义:设
X
~\mathbb{X}~
X 是数域
K
~\mathbb{K}~
K 上的线性空间,函数
∥
∙
∥
:
X
→
R
满
足
:
~\Vert \bullet\Vert:\mathbb{X}\rightarrow\mathbb{R}满足:~
∥∙∥:X→R满足:
(1)
∀
x
∈
R
,
∥
x
∥
≥
0
~\forall x\in\mathbb{R},\Vert x \Vert\ge 0~
∀x∈R,∥x∥≥0 (非负性)
(2)
∥
x
∥
=
0
当
且
仅
当
x
=
0
~\Vert x\Vert=0~当且仅当~x=0~
∥x∥=0 当且仅当 x=0 (正定性)
(3)
∀
x
∈
X
,
α
∈
K
,
∥
a
x
∥
=
∣
a
∣
∥
x
∥
~\forall x\in\mathbb{X},~\alpha\in\mathbb{K},~\Vert ax\Vert=\vert a\vert\Vert x\Vert~
∀x∈X, α∈K, ∥ax∥=∣a∣∥x∥ (正齐次)
(4)
∀
x
,
y
∈
K
,
∥
x
+
y
∥
≤
∥
x
∥
+
∥
y
∥
~\forall x,y\in\mathbb{K},~\Vert x+y\Vert\le\Vert x\Vert+\Vert y\Vert~
∀x,y∈K, ∥x+y∥≤∥x∥+∥y∥ (三角不等式性)
则称
∥
∙
∥
是
~\Vert \bullet\Vert是
∥∙∥是
X
~\mathbb{X}~
X 上的一个范数.
~
定义了范数的线性空间我们称为赋范线性空间,记为
(
X
,
∥
∙
∥
)
~(\mathbb{X},\Vert \bullet\Vert)~
(X,∥∙∥) ,或简记为
X
~X~
X
2、由范数可以定义距离:
d
(
x
,
y
)
=
∥
x
−
y
∥
d(x,y)=\Vert x-y\Vert
d(x,y)=∥x−y∥
容易证明
d
(
x
,
y
)
~d(x,y)~
d(x,y) 是一个距离,因此赋范空间一定是距离空间,如无特殊说明,赋范空间的距离都是范数诱导的距离。
二、向量范数
以上只是一般空间上范数的定义,如果范数作用在向量空间上,我们就得到向量范数。下面我们将给出几种具体的
l
p
~l_p~
lp 向量范数
1、向量的
1
−
范
数
~1-范数~
1−范数
∥
x
∥
1
=
∑
i
=
1
n
∣
x
i
∣
\Vert x\Vert_1=\sum_{i=1}^{n}\vert x_i\vert
∥x∥1=i=1∑n∣xi∣
2、向量的
2
−
范
数
~2-范数~
2−范数
∥
x
∥
2
=
(
∑
i
=
1
n
x
i
2
)
1
2
\Vert x\Vert_2=(\sum_{i=1}^{n}x_i^2)^{\frac{1}{2}}
∥x∥2=(i=1∑nxi2)21
3、向量的
∞
−
范
数
~\infty-范数~
∞−范数
∥
x
∥
∞
=
max
1
≤
i
≤
n
∣
x
i
∣
\Vert x\Vert_\infty=\max\limits_{1\le i\le n}\vert x_i\vert
∥x∥∞=1≤i≤nmax∣xi∣
4、向量的
p
−
范
数
~p-范数~
p−范数
∥
x
∥
p
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
p
p
∈
[
1
,
∞
]
\Vert x\Vert_p=(\sum_{i=1}^{n}\vert x_i\vert^p)^{\frac{1}{p}}~~p\in[1,\infty]
∥x∥p=(i=1∑n∣xi∣p)p1 p∈[1,∞]
5、我们可以证明上面定义的四种函数都是范数,虽然我们开始直接表明了就是范数,这个是需要证明的,证明的过程很机械,就是按照范数的定义再结合函数的定义。
6、为了配合下面的知识,我们给出一种常识,向量序列收敛的定义。
设
{
x
k
}
~\left\{x^k\right\}~
{xk} 为
R
n
~\mathbb{R}^n~
Rn 中的向量序列,
x
∗
∈
R
n
~x^*\in\mathbb{R}^n~
x∗∈Rn ,记
x
k
=
(
x
1
k
,
x
2
k
,
…
,
x
n
k
)
T
,
x
∗
=
(
x
1
∗
,
x
2
∗
,
…
,
x
n
∗
)
~x^k=(x_1^k,x_2^k,\dots,x_n^k)^T,x^*=(x_1^*,x_2^*,\dots,x_n^*)~
xk=(x1k,x2k,…,xnk)T,x∗=(x1∗,x2∗,…,xn∗) .如果
lim
k
→
∞
x
i
k
=
x
i
∗
(
i
=
1
,
2
,
…
,
n
)
~\lim\limits_{k\rightarrow\infty}x_i^{k}=x_i^*(i=1,2,\dots,n)~
k→∞limxik=xi∗(i=1,2,…,n) ,则称
x
k
~x^k~
xk 收敛于向量
x
∗
~x^*~
x∗
lim
k
→
∞
x
k
=
x
∗
\lim\limits_{k\rightarrow\infty}x^k=x^*
k→∞limxk=x∗
7、(向量范数的连续性)
~
设非负函数
N
(
x
)
=
∥
x
∥
~N(x)=\Vert x\Vert~
N(x)=∥x∥ 为
R
n
~\mathbb{R}^n~
Rn 上任一向量范数,则
N
(
x
)
是
x
~N(x)是~x~
N(x)是 x 的分量
x
1
,
x
2
,
…
,
x
n
~x_1,x_2,\dots,x_n~
x1,x2,…,xn 的连续函数。
证明:设
x
=
∑
i
=
1
n
x
i
e
i
~x=\sum\limits_{i=1}^{n}x_ie_i~
x=i=1∑nxiei ,
y
=
∑
i
=
1
n
y
i
e
i
~y=\sum\limits_{i=1}^{n}y_ie_i~
y=i=1∑nyiei ,其中
e
i
=
(
0
,
…
,
1
,
0
,
…
,
0
)
T
~e_i=(0,\dots,1,0,\dots,0)^T~
ei=(0,…,1,0,…,0)T
我们只需证明当
x
→
y
~x\rightarrow y~
x→y 时
N
(
x
)
→
N
(
y
)
~N(x)\rightarrow N(y)~
N(x)→N(y) 即成,实际上
∣
N
(
x
)
−
N
(
y
)
∣
=
∣
∥
x
∥
−
∥
y
∥
∣
≤
∥
x
−
y
∥
=
∥
∑
i
=
1
n
(
x
i
−
y
i
)
e
i
∥
≤
∑
i
=
1
n
∣
x
i
−
y
i
∣
∥
e
i
∥
≤
∥
x
−
y
∥
∞
∑
i
=
1
n
∥
e
i
∥
\begin{aligned} \vert N(x)-N(y)\vert&=\vert \Vert x\Vert-\Vert y\Vert\vert\le\Vert x-y\Vert\\ &=\Vert \sum\limits_{i=1}^n(x_i-y_i)e_i\Vert\le\sum\limits_{i=1}^n\vert x_i-y_i\vert\Vert e_i\Vert\\ &\le\Vert x-y\Vert_{\infty}\sum\limits_{i=1}^{n}\Vert e_i\Vert \end{aligned}
∣N(x)−N(y)∣=∣∥x∥−∥y∥∣≤∥x−y∥=∥i=1∑n(xi−yi)ei∥≤i=1∑n∣xi−yi∣∥ei∥≤∥x−y∥∞i=1∑n∥ei∥
即
∣
N
(
x
)
−
n
(
y
)
∣
≤
c
∥
x
−
y
∥
∞
→
0
(
当
x
→
y
时
)
c
=
∑
i
=
1
n
∥
e
i
∥
\vert N(x)-n(y)\vert\le c\Vert x-y\Vert_{\infty}\rightarrow 0~~(当~x\rightarrow y时)~~~c=\sum\limits_{i=1}^n\Vert e_i\Vert
∣N(x)−n(y)∣≤c∥x−y∥∞→0 (当 x→y时) c=i=1∑n∥ei∥
8、(向量范数的等价性)
~
设
∥
x
∥
s
,
∥
x
∥
t
~\Vert x\Vert_s~,\Vert x\Vert_t~
∥x∥s ,∥x∥t 为
R
n
~\mathbb{R}^n~
Rn 上向量的任意两种范数,则存在常数
c
1
,
c
2
>
0
~c_1,c_2>0~
c1,c2>0 ,使得对一切的
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn 有
c
1
∥
x
∥
s
≤
∥
x
∥
t
≤
c
2
∥
x
∥
s
c_1\Vert x\Vert_s\le\Vert x\Vert_t\le c_2\Vert x\Vert_s
c1∥x∥s≤∥x∥t≤c2∥x∥s
证明:我个人觉得这个证明很经典
我们就
∥
x
∥
s
=
∥
x
∥
∞
~\Vert x\Vert_s=\Vert x\Vert_{\infty}~
∥x∥s=∥x∥∞ ,证明上式成立即可,即证明存在常数
c
1
,
c
2
>
0
~c_1,c_2>0~
c1,c2>0 ,使
c
1
≤
∥
x
∥
t
∥
x
∥
∞
≤
c
2
,
对
一
切
R
n
且
x
≠
0
c_1\le\frac{\Vert x\Vert_t}{\Vert x\Vert_{\infty}}\le c_2,~~对一切\mathbb{R}^n且~x\neq 0
c1≤∥x∥∞∥x∥t≤c2, 对一切Rn且 x=0
考虑函数
f
(
x
)
=
∥
x
∥
t
≥
0
,
x
∈
R
n
f(x)=\Vert x\Vert_t\ge 0,~~x\in\mathbb{R}^n
f(x)=∥x∥t≥0, x∈Rn
记
S
=
{
x
∣
∥
x
∥
∞
=
1
,
x
∈
R
n
}
~S=\left\{x|\Vert x\Vert_{\infty}=1,x\in\mathbb{R}^n\right\}~
S={x∣∥x∥∞=1,x∈Rn} ,则
S
~S~
S 是一个有界闭集。根据上面的知识,我们知道
f
(
x
)
~f(x)~
f(x) 为
S
~S~
S 上的连续函数,所以
f
(
x
)
~f(x)~
f(x) 在
S
~S~
S 上达到最大最小值,即存在
x
′
,
,
x
′
′
∈
S
~x^{'},,x^{''}\in S~
x′,,x′′∈S 使得
f
(
x
′
)
=
min
x
∈
S
f
(
x
)
=
c
1
,
f
(
x
′
′
)
=
min
x
∈
S
f
(
x
)
=
c
2
f(x^{'})=\min\limits_{x\in S}f(x)=c_1~,~f(x^{''})=\min\limits_{x\in S}f(x)=c_2
f(x′)=x∈Sminf(x)=c1 , f(x′′)=x∈Sminf(x)=c2
设
x
∈
R
n
且
x
≠
0
~x\in\mathbb{R}^n~且~x\neq 0~
x∈Rn 且 x=0 ,则
x
∥
x
∥
∞
∈
S
~\frac{x}{\Vert x\Vert_{\infty}}\in S~
∥x∥∞x∈S ,从而有
c
1
≤
f
(
x
∥
x
∥
∞
)
≤
c
2
c_1\le f(\frac{x}{\Vert x\Vert_{\infty}})\le c_2
c1≤f(∥x∥∞x)≤c2
显然
c
1
,
c
2
>
0
~c_1,c_2>0~
c1,c2>0 ,上式为
c
1
≤
∥
x
∥
x
∥
∞
∥
t
≤
c
2
c_1\le\Vert\frac{x}{\Vert x\Vert_{\infty}}\Vert_t\le c_2
c1≤∥∥x∥∞x∥t≤c2,
即
c
1
∥
x
∥
∞
≤
∥
x
∥
t
≤
c
2
∥
x
∥
∞
,
对
一
切
x
∈
R
n
c_1\Vert x\Vert_{\infty}\le\Vert x\Vert_t\le c_2\Vert x\Vert_{\infty},~~对一切~x\in\mathbb{R}^n
c1∥x∥∞≤∥x∥t≤c2∥x∥∞, 对一切 x∈Rn
注:此性质不能推广到无穷维线性空间,因为不能保证其中
S
~S~
S 是有界闭集
9、
lim
k
→
∞
x
k
=
x
∗
⇔
lim
k
→
∞
∥
x
k
−
x
∗
∥
=
0
~\lim\limits_{k\rightarrow\infty}x^k=x^*\Leftrightarrow\lim\limits_{k\rightarrow\infty}\Vert x^k-x^*\Vert=0~
k→∞limxk=x∗⇔k→∞lim∥xk−x∗∥=0 ,其中
∥
∙
∥
~\Vert\bullet\Vert~
∥∙∥ 为向量的任一范数。
证明:显然,
lim
k
→
∞
x
k
=
x
∗
⇔
lim
k
→
∞
∥
x
k
−
x
∗
∥
∞
=
0
~\lim\limits_{k\rightarrow\infty}x^k=x^*\Leftrightarrow\lim\limits_{k\rightarrow\infty}\Vert x^k-x^*\Vert_{\infty}=0~
k→∞limxk=x∗⇔k→∞lim∥xk−x∗∥∞=0 ,而对于
R
n
~\mathbb{R}^n~
Rn 上的任何一种范数
∥
∙
∥
~\Vert\bullet\Vert~
∥∙∥ ,由向量范数的等价性,我们很容易证明此性质。
三、矩阵范数
1、(矩阵范数)
~
如果矩阵
A
∈
R
n
×
n
~A\in\mathbb{R}^{n\times n}~
A∈Rn×n 的某个非负的实值函数
N
(
A
)
=
∥
A
∥
~N(A)=\Vert A\Vert~
N(A)=∥A∥ ,满足条件:
(1)
~
∥
A
∥
≥
0
(
∥
A
∥
=
0
⇔
A
=
0
)
~\Vert A\Vert\ge 0(~\Vert A\Vert=0\Leftrightarrow A=0~)~
∥A∥≥0( ∥A∥=0⇔A=0 ) (正定性条件)
(2)
~
∥
c
A
∥
=
∣
c
∣
∥
A
∥
~\Vert cA\Vert=\vert c\vert\Vert A\Vert~
∥cA∥=∣c∣∥A∥ ,
c
~c~
c 为实数(齐次性条件)
(3)
~
∥
A
+
B
∥
≤
∥
A
∥
+
∥
B
∥
~\Vert A+B\Vert\le\Vert A\Vert+\Vert B\Vert~
∥A+B∥≤∥A∥+∥B∥ (三角不等式)
(4)
~
∥
A
B
∥
≤
∥
A
∥
∥
B
∥
~\Vert AB\Vert\le\Vert A\Vert\Vert B\Vert~
∥AB∥≤∥A∥∥B∥ (相容性条件)
则称
N
(
A
)
~N(A)~
N(A) 是
R
n
×
n
~\mathbb{R}^{n\times n}~
Rn×n 上的矩阵范数(或模)
注:在很多书上也是要求矩阵范数仅仅是满足前三条即可,如果四条性质都满足,我们才称这种范数是相容范数。在此,我们采用大多数书上关于矩阵范数的定义,矩阵范数就已经满足相容性。
2、在实际运算当中,矩阵和向量会同时参与讨论,所以希望引进一种矩阵的范数,使其与向量范数想联系。如要求对任何向量
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn 及
A
∈
R
n
×
n
‘
~A\in\mathbb{R}^{n\times n}`
A∈Rn×n‘都成立
∥
A
x
∥
≤
∥
A
∥
∥
x
∥
\Vert Ax\Vert\le\Vert A\Vert\Vert x\Vert
∥Ax∥≤∥A∥∥x∥
这时称矩阵范数和向量范数相容,为此我们引进算子范数
(矩阵的算子范数)
~
设
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn ,
A
∈
R
n
×
n
~A\in\mathbb{R}^{n\times n}~
A∈Rn×n ,我们给出一种向量范数
∥
x
∥
v
~\Vert x\Vert_v~
∥x∥v (如
v
=
1
,
2
或
∞
~v=1,2~或~\infty~
v=1,2 或 ∞ ),相应地定义一个矩阵的非负函数
∥
A
∥
=
max
x
≠
0
∥
A
x
∥
v
∥
x
∥
v
\Vert A\Vert=\max\limits_{x\neq 0}\frac{\Vert Ax\Vert_v}{\Vert x\Vert_v}
∥A∥=x=0max∥x∥v∥Ax∥v
我们其实可以很容易验证它是满足矩阵范数的前三条定义的,至于第四条是否满足,我们下面再证明
3、设
∥
x
∥
v
~\Vert x\Vert_v~
∥x∥v 是
R
n
~\mathbb{R}^n~
Rn 上的一个向量范数,则
∥
A
∥
v
~\Vert A\Vert_v~
∥A∥v 是
R
n
×
n
~\mathbb{R}^{n\times n}~
Rn×n 上的矩阵范数,且满足矩阵和向量的相容性条件
∥
A
x
∥
v
≤
∥
A
∥
v
∥
x
∥
v
\Vert Ax\Vert_v\le\Vert A\Vert_v\Vert x\Vert_v
∥Ax∥v≤∥A∥v∥x∥v
证明:由算子范数的定义,我们知矩阵和向量的相容性条件是显然的,则有
∥
A
B
x
∥
v
≤
∥
A
∥
v
∥
B
x
∥
v
≤
∥
A
∥
∥
B
∥
v
∥
x
∥
v
\Vert ABx\Vert_v\le\Vert A\Vert_v\Vert Bx\Vert_v\le\Vert A\Vert\Vert B\Vert_v\Vert x\Vert_v
∥ABx∥v≤∥A∥v∥Bx∥v≤∥A∥∥B∥v∥x∥v
当
x
≠
0
~x\neq 0 ~
x=0 时有
∥
A
B
x
∥
v
∥
x
∥
v
≤
∥
A
∥
v
∥
B
∥
v
\frac{\Vert ABx\Vert_v}{\Vert x\Vert_v}\le\Vert A\Vert_v\Vert B\Vert_v
∥x∥v∥ABx∥v≤∥A∥v∥B∥v
故
∥
A
B
∥
=
max
x
≠
0
∥
A
B
x
∥
v
∥
x
∥
v
≤
∥
A
∥
v
∥
B
∥
v
\Vert AB\Vert=\max\limits_{x\neq 0}\frac{\Vert ABx\Vert_v}{\Vert x\Vert_v}\le\Vert A\Vert_v\Vert B\Vert_v
∥AB∥=x=0max∥x∥v∥ABx∥v≤∥A∥v∥B∥v
4、常见的矩阵范数
(1)
~
(Frobenius范数)
F
(
A
)
=
∥
A
∥
F
=
(
∑
i
,
j
=
1
n
a
i
j
2
)
1
2
=
[
t
r
(
A
T
A
)
]
1
2
F(A)=\Vert A\Vert_F=(\sum\limits_{i,j=1}^n a_{ij}^2)^\frac{1}{2}=[tr(A^TA)]^\frac{1}{2}
F(A)=∥A∥F=(i,j=1∑naij2)21=[tr(ATA)]21
(2)
~
(
l
1
~l_1~
l1 诱导的矩阵范数或列和范数)
∥
A
∥
1
=
max
j
{
∥
a
.
j
∥
1
}
=
max
j
∑
i
=
1
n
∣
a
i
j
∣
\Vert A\Vert_1=\max\limits_j\left\{\Vert a_{.j}\Vert_1\right\}=\max\limits_j\sum\limits_{i=1}^n\vert a_{ij}\vert
∥A∥1=jmax{∥a.j∥1}=jmaxi=1∑n∣aij∣
其中:
a
.
j
~a_{.j}~
a.j 表示第
j
~j~
j 列
(3)
~
(
l
2
~l_2~
l2 诱导的矩阵范数或谱范数)
∥
A
∥
2
=
(
λ
A
T
A
)
1
2
\Vert A\Vert_2=(\lambda_{A^TA})^\frac{1}{2}
∥A∥2=(λATA)21
其中
λ
A
T
A
~\lambda_{A^TA}~
λATA 表示
A
T
A
~A^TA~
ATA 的最大特征值
(4)
~
(
l
∞
~l_{\infty}~
l∞ 诱导的矩阵范数或行和范数)
∥
A
∥
∞
=
max
i
{
∥
a
i
.
∥
1
}
=
max
i
∑
j
=
1
n
∣
a
i
j
∣
\Vert A\Vert_{\infty}=\max\limits_i\left\{\Vert a_{i.}\Vert_{1}\right\}=\max\limits_i\sum\limits_{j=1}^n\vert a_{ij}\vert
∥A∥∞=imax{∥ai.∥1}=imaxj=1∑n∣aij∣
其中:
a
i
.
~a_{i.}~
ai. 表示第
i
~i~
i 行
5、现在我想证明
F
r
o
b
e
n
i
u
s
~Frobenius~
Frobenius 范数不是算子范数,而前面的
(
2
)
、
(
3
)
、
(
4
)
~(2)、(3)、(4)~
(2)、(3)、(4) 定义的范数是算子范数
证明:首先
(
1
)
~(1)~
(1) 中的定义是范数,这个按照定义证明即可。现在用反证法,假设
F
r
o
b
e
n
i
u
s
~Frobenius~
Frobenius 范数是算子范数
不妨考虑
n
~n~
n 阶单位矩阵
E
~E~
E 的算子范数,由算子范数的定义
∥
E
∥
F
=
max
x
≠
0
∥
E
x
∥
v
∥
x
∥
v
=
1
\Vert E\Vert_F=\max\limits_{x\neq 0}\frac{\Vert Ex\Vert_v}{\Vert x\Vert_v}=1
∥E∥F=x=0max∥x∥v∥Ex∥v=1
而
E
~E~
E 的
F
r
o
b
e
n
i
u
s
~Frobenius~
Frobenius 范数:
∥
E
∥
F
=
n
~\Vert E\Vert_F=\sqrt{n}~
∥E∥F=n
很显然,当
n
≥
2
~n\ge 2~
n≥2 时,肯定不相等,故
F
r
o
b
e
n
i
u
s
~Frobenius~
Frobenius 范数不是算子范数
下面证明
(
3
)
、
(
4
)
~(3)、(4)~
(3)、(4) 是算子范数,同理可以证明
(
2
)
~(2)~
(2)
先证明(3)定义的范数是算子范数
由于对一切
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn ,
∥
A
x
∥
2
2
=
(
A
x
,
A
x
)
≥
0
~\Vert Ax\Vert_2^2=(Ax,Ax)\ge 0~
∥Ax∥22=(Ax,Ax)≥0 ,从而
A
T
A
~A^TA~
ATA 的特征值为非负实数,设为
λ
1
≥
λ
2
≥
…
λ
n
≥
0
\lambda_1\ge\lambda_2\ge\dots\lambda_n\ge 0
λ1≥λ2≥…λn≥0
A
T
A
~A^TA~
ATA 为对称矩阵,设
u
1
,
u
2
,
…
,
u
n
~u_1,u_2,\dots,u_n~
u1,u2,…,un 为
A
T
A
~A^TA~
ATA 的相应于上面特征值的特征向量且
(
u
i
,
u
j
)
=
δ
i
j
~(u_i,u_j)=\delta_{ij}~
(ui,uj)=δij ,又设
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn 为任一非零向量,于是有
x
=
∑
i
=
1
n
c
i
u
i
x=\sum\limits_{i=1}^{n}c_iu_i
x=i=1∑nciui
其中
c
i
~c_i~
ci 为组合系数,则、
∥
A
x
∥
2
2
∥
x
∥
2
2
=
(
A
T
A
x
,
x
)
(
x
,
x
)
=
∑
i
=
1
n
c
i
2
λ
i
∑
i
=
1
n
c
i
2
≤
λ
1
\frac{\Vert Ax\Vert_2^2}{\Vert x\Vert_2^2}=\frac{(A^TAx,x)}{(x,x)}=\frac{\sum\limits_{i=1}^{n}c_i^2\lambda_i}{\sum\limits_{i=1}^{n}c_i^2}\le\lambda_1
∥x∥22∥Ax∥22=(x,x)(ATAx,x)=i=1∑nci2i=1∑nci2λi≤λ1
另一方面,取
x
=
u
1
~x=u_1~
x=u1 ,则上式等号成立,故
∥
A
∥
2
=
max
x
≠
0
∥
A
x
∥
2
∥
x
∥
2
=
λ
1
=
λ
m
a
x
(
A
T
A
)
\Vert A \Vert_2=\max\limits_{x\neq 0}\frac{\Vert Ax\Vert_2}{\Vert x\Vert_2}=\sqrt{\lambda_1}=\sqrt{\lambda_{max}(A^TA)}
∥A∥2=x=0max∥x∥2∥Ax∥2=λ1=λmax(ATA)
证明
4
~4~
4 定义的范数是算子范数
设
x
=
(
x
1
,
x
2
,
…
,
x
n
)
T
≠
0
~x=(x_1,x_2,\dots,x_n)^T\neq 0~
x=(x1,x2,…,xn)T=0 ,不妨设
A
≠
0
~A\neq 0~
A=0 ,记
t
=
∥
x
∥
∞
=
max
1
≤
i
≤
n
∣
x
i
∣
,
u
=
max
1
≤
i
≤
n
∑
j
=
1
n
∣
a
i
j
∣
t=\Vert x\Vert_{\infty}=\max\limits_{1\le i\le n}\vert x_i\vert~~,u=\max\limits_{1\le i\le n}\sum\limits_{j=1}^n\vert a_{ij}\vert
t=∥x∥∞=1≤i≤nmax∣xi∣ ,u=1≤i≤nmaxj=1∑n∣aij∣
则
∥
A
x
∥
∞
=
max
1
≤
i
≤
n
∑
j
=
1
n
∣
a
i
j
∣
≤
max
i
∑
j
=
1
n
∣
a
i
j
∣
∥
x
j
∥
≤
t
max
i
∑
j
=
1
n
∣
a
i
j
∣
\Vert Ax\Vert_{\infty}=\max\limits_{1\le i\le n}\sum\limits_{j=1}^n\vert a_{ij}\vert\le\max\limits_{i}\sum\limits_{j=1}^n\vert a_{ij}\vert\Vert x_j\Vert\le t\max\limits_{i}\sum\limits_{j=1}^n\vert a_{ij}\vert
∥Ax∥∞=1≤i≤nmaxj=1∑n∣aij∣≤imaxj=1∑n∣aij∣∥xj∥≤timaxj=1∑n∣aij∣
这说明对任何非零向量
x
∈
R
n
~x\in\mathbb{R}^n~
x∈Rn ,有
∥
A
x
∥
∞
∥
x
∥
∞
≤
u
\frac{\Vert Ax\Vert_{\infty}}{\Vert x\Vert_{\infty}}\le u
∥x∥∞∥Ax∥∞≤u
下面来说明有一向量
x
0
≠
0
~x_0\neq 0~
x0=0 ,使得
∥
A
x
0
∥
∞
∥
x
∥
∞
=
u
~\frac{\Vert Ax_0\Vert_{\infty}}{\Vert x\Vert_{\infty}}=u~
∥x∥∞∥Ax0∥∞=u ,设
u
=
∑
j
=
1
n
∣
a
i
j
∣
~u=\sum\limits_{j=1}^n\vert a_{ij}\vert~
u=j=1∑n∣aij∣ ,取向量
x
0
=
(
x
1
,
x
2
,
…
,
x
n
)
T
~x_0=(x_1,x_2,\dots,x_n)^T~
x0=(x1,x2,…,xn)T ,其中
x
j
=
s
g
n
(
a
i
0
j
)
~x_j=sgn(a_{i_0j})~
xj=sgn(ai0j) (
j
=
1
,
2
…
,
n
~j=1,2\dots,n~
j=1,2…,n )显然
∥
x
0
∥
=
1
~\Vert x_0\Vert=1~
∥x0∥=1 且
A
x
0
~Ax_0~
Ax0 的第
i
0
~i_0~
i0 个分量为
∑
i
=
1
n
a
i
0
j
x
j
=
∑
j
=
1
n
∣
a
i
0
j
∣
~\sum\limits_{i=1}^n a_{i_0 j}x_j=\sum\limits_{j=1}^{n}\vert a_{i_0j}\vert~
i=1∑nai0jxj=j=1∑n∣ai0j∣ ,这说明
∥
A
x
0
∥
∞
=
max
1
≤
i
≤
n
∣
∑
j
=
1
n
a
i
j
x
j
∣
=
∑
j
=
1
n
∣
a
i
0
j
∣
=
u
\Vert Ax_0\Vert_{\infty}=\max\limits_{1\le i\le n}\vert \sum\limits_{j=1}^{n}a_{ij}x_j\vert=\sum\limits_{j=1}^n\vert a_{i_0j}\vert=u
∥Ax0∥∞=1≤i≤nmax∣j=1∑naijxj∣=j=1∑n∣ai0j∣=u
6、由定义可知,矩阵的
2
−
范
数
~2-范数~
2−范数
∥
A
∥
2
\Vert A\Vert_2~
∥A∥2 在计算上不方便,但是矩阵的
2
−
范
数
~2-范数~
2−范数 具有许多好的性质,它在理论上是非常有用的。
(1)
~
它是正交不变范数,这是很容易证明的,(
F
r
o
b
e
n
i
u
s
范
数
也
是
正
交
不
变
范
数
~Frobenius范数也是正交不变范数~
Frobenius范数也是正交不变范数 )
即是对任意的
A
∈
R
n
×
n
~A\in\mathbb{R}^{n\times n}~
A∈Rn×n ,设
Q
~Q~
Q 为正交矩阵,则有
∥
Q
A
∥
2
=
∥
A
∥
2
,
∥
Q
A
∥
F
=
∥
A
∥
F
\Vert QA\Vert_2=\Vert A\Vert_2~~,~~\Vert QA\Vert_F=\Vert A\Vert_F
∥QA∥2=∥A∥2 , ∥QA∥F=∥A∥F
(2)
~
对于复矩阵(即
A
∈
C
n
×
n
~A\in C^{n\times n}~
A∈Cn×n ),我们定义谱范数
∥
A
∥
2
=
max
x
≠
0
(
x
H
A
H
A
x
x
H
x
)
1
2
=
λ
m
a
x
(
A
H
A
)
\Vert A\Vert_2=\max\limits_{x\neq 0}(\frac{x^HA^HAx}{x^Hx})^{\frac{1}{2}}=\sqrt{\lambda_{max}(A^HA)}
∥A∥2=x=0max(xHxxHAHAx)21=λmax(AHA)
7、对任何
A
∈
R
n
×
n
~A\in\mathbb{R}^{n\times n}~
A∈Rn×n ,
∥
∙
∥
~\Vert\bullet\Vert~
∥∙∥ 为任意算子范数,则
ρ
(
A
)
≤
∥
A
∥
(
对
∥
A
∥
F
也
成
立
)
\rho(A)\le\Vert A\Vert~~~(对\Vert A\Vert_F也成立)
ρ(A)≤∥A∥ (对∥A∥F也成立)
反之,对任意实数
ε
>
0
~\varepsilon>0~
ε>0 ,至少存在一种算子范数
∥
∙
∥
ε
~\Vert\bullet\Vert_{\varepsilon}~
∥∙∥ε ,使
∥
A
∥
ε
≤
ρ
(
A
)
+
ε
\Vert A\Vert_{\varepsilon}\le\rho(A)+\varepsilon
∥A∥ε≤ρ(A)+ε
证明:设
λ
~\lambda~
λ 为
A
~A~
A 的任一特征值,
x
≠
0
~x\neq 0~
x=0 使得
A
x
=
λ
x
~Ax=\lambda x~
Ax=λx ,由相容性条件得
∣
λ
∣
∥
x
∥
=
∥
λ
x
∥
=
∥
A
x
∥
≤
∥
A
∥
∥
x
∥
\vert \lambda\vert\Vert x\Vert=\Vert\lambda x\Vert=\Vert Ax\Vert\le\Vert A\Vert\Vert x\Vert
∣λ∣∥x∥=∥λx∥=∥Ax∥≤∥A∥∥x∥
注意到
∥
x
∥
≠
0
~\Vert x\Vert\neq 0~
∥x∥=0 ,则得
∣
λ
∣
≤
∥
A
∥
~\vert \lambda\vert\le\Vert A\Vert~
∣λ∣≤∥A∥ ,即
ρ
(
A
)
≤
∥
A
∥
~\rho(A)\le\Vert A\Vert~
ρ(A)≤∥A∥
定理后半部分的证明要用到
J
o
r
d
a
n
~Jordan~
Jordan 标准型,这个证明会在《矩阵分析》书中出现。
8、如果
A
∈
R
n
×
n
~A\in\mathbb{R}^{n\times n}~
A∈Rn×n 为对称矩阵,则
∥
A
∥
2
=
ρ
(
A
)
~\Vert A\Vert_2=\rho(A)~
∥A∥2=ρ(A)
证明:
ρ
(
A
)
=
λ
m
a
x
A
T
A
~\rho(A)=\sqrt{\lambda_{max}A^TA}~
ρ(A)=λmaxATA ,若
λ
1
~\lambda_1~
λ1 为
A
~A~
A 的谱半径,且A为对称矩阵,则
λ
1
2
~\lambda_1^2~
λ12 为
A
T
A
~A^TA~
ATA 的特征值,故命题就得证
9、如果
∥
B
∥
<
1
~\Vert B\Vert<1~
∥B∥<1 ,则
E
±
B
~E\pm B~
E±B 为非奇异矩阵,且
∥
(
E
±
B
)
−
1
∥
≤
1
1
−
∥
B
∥
\Vert (E\pm B)^{-1}\Vert\le\frac{1}{1-\Vert B\Vert}
∥(E±B)−1∥≤1−∥B∥1
其中
∥
∙
∥
~\Vert\bullet\Vert~
∥∙∥ 是指矩阵的算子范数
证明:其实由
7
~7~
7 ,我们可知
E
±
B
~E\pm B~
E±B 为非奇异矩阵。
我们在此给出另外一个有意思的证明,采取反证法
若
d
e
t
(
E
−
B
)
=
0
~det(E-B)=0~
det(E−B)=0 ,则
(
E
−
B
)
x
=
0
~(E-B)x=0~
(E−B)x=0 有非零解,即存在
x
0
≠
0
~x_0\neq 0~
x0=0 使
B
x
0
=
x
0
~Bx_0=x_0~
Bx0=x0 ,那么就有
∥
B
x
0
∥
∥
x
0
∥
=
1
~\frac{\Vert Bx_0\Vert}{\Vert x_0\Vert}=1~
∥x0∥∥Bx0∥=1 ,故
∥
B
∥
≥
1
~\Vert B\Vert\ge 1~
∥B∥≥1 ,与假设矛盾.
又由
(
E
−
B
)
(
E
−
B
)
−
1
=
E
~(E-B)(E-B)^{-1}=E~
(E−B)(E−B)−1=E ,从而
(
E
−
B
)
−
1
=
E
+
B
(
E
−
B
)
−
1
~(E-B)^{-1}=E+B(E-B)^{-1}~
(E−B)−1=E+B(E−B)−1 ,
从而
∥
(
E
±
B
)
−
1
∥
≤
∥
E
∥
+
∥
B
∥
∥
(
E
±
B
)
−
1
∥
\Vert (E\pm B)^{-1}\Vert\le\Vert E\Vert+\Vert B\Vert\Vert (E\pm B)^{-1}\Vert
∥(E±B)−1∥≤∥E∥+∥B∥∥(E±B)−1∥
∥
(
E
−
B
)
−
1
∥
≤
1
1
−
∥
B
∥
\Vert (E-B)^{-1}\Vert\le\frac{1}{1-\Vert B\Vert}
∥(E−B)−1∥≤1−∥B∥1
四、范数不等式
1、
C
a
u
c
h
y
−
S
c
h
w
a
r
z
~Cauchy-Schwarz~
Cauchy−Schwarz 不等式:
∣
x
T
y
∣
≤
∥
x
∥
∥
y
∥
\vert x^Ty\vert\le \Vert x\Vert\Vert y\Vert
∣xTy∣≤∥x∥∥y∥
当且仅当
x
~x~
x 和
y
~y~
y 线性相关时,等号成立.
注:
C
a
u
c
h
y
−
S
c
h
w
a
r
z
~Cauchy-Schwarz~
Cauchy−Schwarz 不等式其实是
H
o
l
d
e
r
~Holder~
Holder 不等式的特例,在此还是证明一下
证明:若
y
=
0
~y=0~
y=0 ,显然成立
若
y
≠
0
~y\neq 0~
y=0 ,根据内积的定义,则
(
x
+
t
y
,
x
+
t
y
)
≥
0
~(x+ty,x+ty)\ge 0~
(x+ty,x+ty)≥0 ,对任意的
t
~t~
t 都成立,则有
(
x
,
x
)
+
2
t
(
x
,
y
)
+
t
2
(
y
,
y
)
≥
0
(x,x)+2t(x,y)+t^2(y,y)\ge 0
(x,x)+2t(x,y)+t2(y,y)≥0
则有
4
(
x
,
y
)
2
−
4
(
x
,
x
)
(
y
,
y
)
≤
0
~4(x,y)^2-4(x,x)(y,y)\le 0~
4(x,y)2−4(x,x)(y,y)≤0 ,从而
(
x
,
y
)
2
≤
(
x
,
x
)
(
y
,
y
)
=
∥
x
∥
2
∥
y
∥
2
~(x,y)^2\le(x,x)(y,y)=\Vert x\Vert^2\Vert y\Vert^2~
(x,y)2≤(x,x)(y,y)=∥x∥2∥y∥2
当
x
与
y
~x与y~
x与y 线性相关时,等号显然成立
上面等号成立,要么
y
=
0
~y=0~
y=0 ,要么
x
=
(
x
,
y
)
(
y
,
y
)
y
~x=\frac{(x,y)}{(y,y)}y~
x=(y,y)(x,y)y ,即
x
和
y
线
性
相
关
~x~和~y~线性相关~
x 和 y 线性相关
从而命题得证
2、设
A
~A~
A 是
n
×
n
~n\times n~
n×n 正定矩阵,则
∣
x
T
A
y
∣
≤
∥
x
∥
A
∥
y
∥
A
\vert x^TAy\vert\le\Vert x\Vert_A\Vert y\Vert_A
∣xTAy∣≤∥x∥A∥y∥A
当且仅当
x
~x~
x 和
y
~y~
y 线性相关时,等式成立
证明:由于正定矩阵一定会合同于单位矩阵,故存在可逆矩阵
P
~P~
P ,使得
P
T
A
P
=
E
~P^TAP=E~
PTAP=E
对于任意的矩阵
x
,
y
~x,y~
x,y ,一定存在
x
1
,
y
1
~x_1,y_1~
x1,y1 ,使得
x
=
P
x
1
,
y
=
P
y
1
x=Px_1~~,y=Py_1
x=Px1 ,y=Py1
要证明
∣
x
T
A
y
∣
≤
∥
x
∥
A
∥
y
∥
A
~\vert x^TAy\vert\le\Vert x\Vert_A\Vert y\Vert_A~
∣xTAy∣≤∥x∥A∥y∥A ,即是证明
x
T
A
y
y
T
A
x
≤
x
T
A
x
y
T
A
y
~x^TAyy^TAx\le x^TAxy^TAy~
xTAyyTAx≤xTAxyTAy
代入即是要证明
x
1
T
P
T
A
P
y
1
y
1
T
P
T
A
P
x
1
≤
x
1
T
P
T
A
P
x
1
y
1
T
P
T
A
P
y
1
~x_1^TP^TAPy_1y_1^TP^TAPx_1\le x_1^TP^TAPx_1y_1^TP^TAPy_1~
x1TPTAPy1y1TPTAPx1≤x1TPTAPx1y1TPTAPy1
即是要证明
x
1
T
y
1
y
1
T
x
1
≤
x
1
T
x
1
y
1
T
y
1
~x_1^Ty_1y_1^Tx_1\le x_1^Tx_1y_1^Ty_1~
x1Ty1y1Tx1≤x1Tx1y1Ty1
由上面的
C
a
u
c
h
y
−
S
c
h
w
a
r
z
~Cauchy-Schwarz~
Cauchy−Schwarz 不等式,知上面不等式是显然成立的
至于后面的线性相关性和上面的证明一样
3、设
A
~A~
A 是
n
×
n
~n\times n~
n×n 正定矩阵,则
∣
x
T
y
∣
≤
∥
x
∥
A
∥
x
∥
A
−
1
\vert x^Ty\vert\le\Vert x\Vert_A\Vert x\Vert_{A^{-1}}
∣xTy∣≤∥x∥A∥x∥A−1
当且仅当
x
~x~
x 和
A
−
1
y
~A^{-1}y~
A−1y 线性相关时,等号成立
证明;我感觉和上面证明差不多,由于正定矩阵一定会合同于单位矩阵,故存在可逆矩阵
P
~P~
P ,使得
P
T
A
P
=
E
~P^TAP=E~
PTAP=E
对于任意的矩阵
x
,
y
~x,y~
x,y ,一定存在
x
1
,
y
1
~x_1,y_1~
x1,y1 ,使得
x
=
P
x
1
,
y
=
P
y
1
x=Px_1~~,y=Py_1
x=Px1 ,y=Py1
要证明
∣
x
T
A
y
∣
≤
∥
x
∥
A
∥
y
∥
A
−
1
~\vert x^TAy\vert\le\Vert x\Vert_A\Vert y\Vert_{A^{-1}}~
∣xTAy∣≤∥x∥A∥y∥A−1 ,即是证明
x
T
A
y
y
T
A
x
≤
x
T
A
x
y
T
A
−
1
y
~x^TAyy^TAx\le x^TAxy^TA^{-1}y~
xTAyyTAx≤xTAxyTA−1y
代入即是要证明
x
1
T
P
T
A
P
y
1
y
1
T
P
T
A
P
x
1
≤
x
1
T
P
T
A
P
x
1
y
1
T
P
T
A
−
1
P
y
1
~x_1^TP^TAPy_1y_1^TP^TAPx_1\le x_1^TP^TAPx_1y_1^TP^TA^{-1}Py_1~
x1TPTAPy1y1TPTAPx1≤x1TPTAPx1y1TPTA−1Py1
本人太笨了,我也不会证明了
4、(
~
Young
~
不等式):假定
p
和
q
~p~和~q~
p 和 q 都是大于
1
~1~
1 的实数,
1
p
+
1
q
=
1
~\frac{1}{p}+\frac{1}{q}=1~
p1+q1=1 ,如果
x
~x~
x 和
y
~y~
y 是实数,则
x
y
≤
x
p
p
+
y
q
q
xy\le \frac{x^p}{p}+\frac{y^q}{q}
xy≤pxp+qyq
当且仅当
x
p
=
y
q
~x^p=y^q~
xp=yq 时,等号成立.
证明:令
s
=
x
p
,
t
=
y
q
~s=x^p,~t=y^q~
s=xp, t=yq ,由算术
−
-
−几何不等式
x
y
=
s
1
p
t
1
q
≤
s
p
+
t
q
=
x
p
p
+
y
q
q
xy=s^{\frac{1}{p}}t^{\frac{1}{q}}\le\frac{s}{p}+\frac{t}{q}=\frac{x^p}{p}+\frac{y^q}{q}
xy=sp1tq1≤ps+qt=pxp+qyq
此外,当且仅当
s
=
t
~s=t~
s=t 时,即
x
p
=
y
q
~x^p=y^q~
xp=yq ,等式成立
注:其中的算术几何不等式的证明,我在这里也不想证明了,方法有两种,一种是在《测度论》课本中利用伯努利不等式,另一种是在《百度百科》中利用琴生不等式。
5、(
~
Holder
~
不等式):假定
p
和
q
~p~和~q~
p 和 q 都是大于
1
~1~
1 的实数,
1
p
+
1
q
=
1
~\frac{1}{p}+\frac{1}{q}=1~
p1+q1=1 ,如果
x
~x~
x 和
y
~y~
y 是实数,则
∣
x
T
y
∣
≤
∥
x
∥
p
∥
y
∥
q
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
p
(
∑
i
=
1
n
∣
y
i
∣
q
)
1
q
\vert x^Ty\vert\le\Vert x\Vert_p\Vert y\Vert_q=(\sum_{i=1}^{n}\vert x_i\vert^p)^{\frac{1}{p}}(\sum_{i=1}^n\vert y_i\vert^q)^{\frac{1}{q}}
∣xTy∣≤∥x∥p∥y∥q=(i=1∑n∣xi∣p)p1(i=1∑n∣yi∣q)q1
证明:若
x
=
0
或
y
=
0
~x=0~或~y=0~
x=0 或 y=0 ,则不等式显然成立,若
x
~x~
x 和
y
~y~
y 均不为零,记
∥
x
∥
p
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
p
,
∥
y
∥
q
=
(
∑
i
=
1
n
∣
y
i
∣
q
)
1
q
\Vert x\Vert_p=(\sum_{i=1}^{n}\vert x_i\vert^p)^{\frac{1}{p}},~~\Vert y\Vert_q=(\sum_{i=1}^n\vert y_i\vert^q)^{\frac{1}{q}}
∥x∥p=(i=1∑n∣xi∣p)p1, ∥y∥q=(i=1∑n∣yi∣q)q1
由
Y
o
u
n
g
~Young~
Young 不等式,有
∣
x
i
y
i
∣
∥
x
∥
p
∥
y
∥
q
≤
1
p
∣
x
i
∣
p
∥
x
∥
p
p
+
1
q
∣
y
i
∣
q
∥
y
∥
q
q
,
i
=
1
,
2
…
,
n
\frac{\vert x_iy_i\vert}{\Vert x\Vert_p\Vert y\Vert_q}\le\frac{1}{p}\frac{\vert x_i\vert^p}{\Vert x\Vert_p^p}+\frac{1}{q}\frac{\vert y_i\vert^q}{\Vert y\Vert_q^q},~~i=1,2\dots,n
∥x∥p∥y∥q∣xiyi∣≤p1∥x∥pp∣xi∣p+q1∥y∥qq∣yi∣q, i=1,2…,n
上述不等式两边关于
i
~i~
i 求和,得
1
∥
x
∥
p
∥
y
∥
q
∑
i
=
1
n
∣
x
i
y
i
∣
≤
1
p
∥
x
∥
p
p
∑
i
=
1
n
∣
x
i
∣
p
+
1
q
∥
x
∥
q
q
∑
i
=
1
n
∣
x
i
∣
q
=
1
p
+
1
q
=
1
\frac{1}{\Vert x\Vert_p\Vert y\Vert_q}\sum_{i=1}^n\vert x_iy_i\vert\le\frac{1}{p\Vert x\Vert_p^p}\sum_{i=1}^n\vert x_i\vert^p+\frac{1}{q\Vert x\Vert_q^q}\sum_{i=1}^n\vert x_i\vert^q=\frac{1}{p}+\frac{1}{q}=1
∥x∥p∥y∥q1i=1∑n∣xiyi∣≤p∥x∥pp1i=1∑n∣xi∣p+q∥x∥qq1i=1∑n∣xi∣q=p1+q1=1
两边同时乘以
∥
x
∥
p
p
∥
y
∥
q
q
~\Vert x\Vert_p^p\Vert y\Vert_q^q~
∥x∥pp∥y∥qq ,即得结果
6、(
~
Minkowski
~
不等式)
∥
x
+
y
∥
p
≤
∥
x
∥
p
+
∥
y
∥
p
\Vert x+y\Vert_p\le\Vert x\Vert_p+\Vert y\Vert_p
∥x+y∥p≤∥x∥p+∥y∥p
即
(
∑
i
=
1
n
∣
x
i
+
y
i
∣
p
)
1
p
≤
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
p
+
(
∑
i
=
1
n
∣
y
i
∣
p
)
1
p
(\sum_{i=1}^n\vert x_i+y_i\vert^p)^\frac{1}{p}\le(\sum_{i=1}^n\vert x_i\vert^p)^\frac{1}{p}+(\sum_{i=1}^n\vert y_i\vert^p)^\frac{1}{p}
(i=1∑n∣xi+yi∣p)p1≤(i=1∑n∣xi∣p)p1+(i=1∑n∣yi∣p)p1
其中,
p
>
1
~p>1~
p>1
证明:如果
x
~x~
x 或
y
~y~
y 为零向量,则不等式显然成立。故假定
x
≠
0
,
y
≠
0
~x\neq 0,y\neq 0~
x=0,y=0
若
p
=
1
~p=1~
p=1 ,由于
∣
x
i
+
y
i
∣
≤
∣
x
i
∣
+
∣
y
i
∣
,
i
=
1
,
2
,
…
,
n
~\vert x_i+y_i\vert\le\vert x_i\vert+\vert y_i\vert,~~i=1,2,\dots,n~
∣xi+yi∣≤∣xi∣+∣yi∣, i=1,2,…,n ,则得结果
现设
p
>
1
~p>1~
p>1 ,考虑函数
ϕ
(
t
)
=
t
p
,
t
>
0
\phi(t)=t^p,~~~t>0
ϕ(t)=tp, t>0
由于
ϕ
′
′
(
t
)
=
p
(
p
−
1
)
t
p
−
2
>
0
\phi^{''}(t)=p(p-1)t^{p-2}>0
ϕ′′(t)=p(p−1)tp−2>0
故函数
ϕ
(
t
)
~\phi(t)~
ϕ(t) 是严格凸的.
~
注意到
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
=
1
\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}=1
∥x∥p+∥y∥p∥x∥p+∥x∥p+∥y∥p∥y∥p=1
于是,由凸函数的定义得到
(
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
∣
x
i
∣
∥
x
∥
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
∣
y
i
∣
∥
y
∥
p
)
p
≤
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
(
∣
x
i
∣
∥
x
∥
p
)
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
(
∣
y
i
∣
∥
y
∥
p
)
p
\begin{aligned}&(\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{\vert x_i\vert}{\Vert x\Vert_p}+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{\vert y_i\vert}{\Vert y\Vert_p})^p\\ &\le\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}(\frac{\vert x_i\vert}{\Vert x\Vert_p})^p+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}(\frac{\vert y_i\vert}{\Vert y\Vert_p})^p \end{aligned}
(∥x∥p+∥y∥p∥x∥p∥x∥p∣xi∣+∥x∥p+∥y∥p∥y∥p∥y∥p∣yi∣)p≤∥x∥p+∥y∥p∥x∥p(∥x∥p∣xi∣)p+∥x∥p+∥y∥p∥y∥p(∥y∥p∣yi∣)p
因此,
∑
i
=
1
n
(
∣
x
i
+
y
i
∣
∥
x
∥
p
+
∥
y
∥
p
)
p
≤
∑
i
=
1
n
(
∣
x
i
∥
+
∥
y
i
∣
∥
x
∥
p
+
∥
y
∥
p
)
p
≤
∑
i
=
1
n
(
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
(
∣
x
i
∣
∥
x
∥
p
)
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
(
∣
y
i
∣
∥
y
∥
p
)
p
)
=
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
∑
i
=
1
n
(
∣
x
i
∣
∥
x
∥
p
)
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
∑
i
=
1
n
(
∣
y
i
∣
∥
y
∥
p
)
p
=
∥
x
∥
p
∥
x
∥
p
+
∥
y
∥
p
∥
x
∥
p
p
∥
x
∥
p
p
+
∥
y
∥
p
∥
x
∥
p
+
∥
y
∥
p
∥
x
∥
p
p
∥
x
∥
p
p
=
1
\begin{aligned} &\sum_{i=1}^n(\frac{\vert x_i+y_i\vert}{\Vert x\Vert_p+\Vert y\Vert_p})^p\le\sum_{i=1}^n(\frac{\vert x_i\Vert+\Vert y_i\vert}{\Vert x\Vert_p+\Vert y\Vert_p})^p\\ &\le\sum_{i=1}^n(\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}(\frac{\vert x_i\vert}{\Vert x\Vert_p})^p+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}(\frac{\vert y_i\vert}{\Vert y\Vert_p})^p)\\ &=\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\sum_{i=1}^n(\frac{\vert x_i\vert}{\Vert x\Vert_p})^p+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\sum_{i=1}^n(\frac{\vert y_i\vert}{\Vert y\Vert_p})^p\\ &=\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{\Vert x\Vert_p^p}{\Vert x\Vert_p^p}+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{\Vert x\Vert_p^p}{\Vert x\Vert_p^p}\\ &=1 \end{aligned}
i=1∑n(∥x∥p+∥y∥p∣xi+yi∣)p≤i=1∑n(∥x∥p+∥y∥p∣xi∥+∥yi∣)p≤i=1∑n(∥x∥p+∥y∥p∥x∥p(∥x∥p∣xi∣)p+∥x∥p+∥y∥p∥y∥p(∥y∥p∣yi∣)p)=∥x∥p+∥y∥p∥x∥pi=1∑n(∥x∥p∣xi∣)p+∥x∥p+∥y∥p∥y∥pi=1∑n(∥y∥p∣yi∣)p=∥x∥p+∥y∥p∥x∥p∥x∥pp∥x∥pp+∥x∥p+∥y∥p∥y∥p∥x∥pp∥x∥pp=1
这样,我们得到
∑
i
=
1
n
∣
x
+
y
i
∣
p
≤
(
∥
x
∥
p
+
∥
y
∥
p
)
p
\sum_{i=1}^n\vert x_+y_i\vert^p\le(\Vert x\Vert_p+\Vert y\Vert_p)^p
i=1∑n∣x+yi∣p≤(∥x∥p+∥y∥p)p
上式两边取
p
~p~
p 次根即得结果