#凸优化中的数学(二)之
##——范数,距离、单位球
我们首先给出范数的定义:
满足一下条件的函数
f
:
R
n
→
R
,
d
o
m
f
=
R
n
称
为
范
数
f:R^n\rightarrow R,dom f=R^n称为范数
f:Rn→R,domf=Rn称为范数
∙
f
是
非
负
的
:
对
所
有
的
x
∈
R
n
,
d
o
m
f
=
R
n
成
立
f
(
x
)
≥
0
\bullet f是非负的:对所有的x\in R^n,dom f=R^n成立f(x)\ge0
∙f是非负的:对所有的x∈Rn,domf=Rn成立f(x)≥0
∙
f
是
正
定
的
:
仅
对
x
=
0
成
立
f
(
x
)
=
0
\bullet f是正定的:仅对x=0成立 f(x)=0
∙f是正定的:仅对x=0成立f(x)=0
∙
f
是
其
次
的
:
对
所
有
的
x
∈
R
n
和
t
∈
R
成
立
f
(
t
x
)
=
∣
t
∣
f
(
x
)
\bullet f是其次的:对所有的x\in R^n和t\in R成立 f(tx)=|t|f(x)
∙f是其次的:对所有的x∈Rn和t∈R成立f(tx)=∣t∣f(x)
∙
f
满
足
三
角
不
等
式
:
对
所
有
的
x
,
y
∈
R
n
成
立
f
(
x
+
y
)
≤
f
(
x
)
+
f
(
y
)
\bullet f满足三角不等式:对所有的x,y\in R^n成立f(x+y)\le f(x)+f(y)
∙f满足三角不等式:对所有的x,y∈Rn成立f(x+y)≤f(x)+f(y)
我
们
采
用
符
号
f
(
x
)
=
∥
x
∥
,
改
符
号
意
味
着
范
数
是
R
上
绝
对
值
的
推
广
。
我
们
用
∥
x
∥
s
y
m
b
表
示
具
体
的
范
数
,
下
表
是
区
分
范
数
的
助
记
符
号
。
我们采用符号f(x)=\|x\|,改符号意味着范数是R上绝对值的推广。我们用\|x\|_{symb}表示具体的范数,下表是区分范数的助记符号。
我们采用符号f(x)=∥x∥,改符号意味着范数是R上绝对值的推广。我们用∥x∥symb表示具体的范数,下表是区分范数的助记符号。
范
数
是
对
向
量
x
的
长
度
的
度
量
;
我
们
可
以
用
两
个
向
量
x
和
y
的
差
异
的
长
度
度
量
他
们
之
间
的
距
离
,
即
范数是对向量x的长度的度量;我们可以用两个向量x和y的差异的长度度量他们之间的距离,即
范数是对向量x的长度的度量;我们可以用两个向量x和y的差异的长度度量他们之间的距离,即
d
i
s
t
(
x
,
y
)
=
∥
x
−
y
∥
dist(x,y)=\|x-y\|
dist(x,y)=∥x−y∥
我
们
用
d
i
s
t
(
x
,
y
)
表
示
x
和
y
之
间
用
范
数
∥
⋅
∥
表
示
距
离
。
最
常
见
的
就
是
n
维
欧
式
空
间
下
的
距
离
我们用dist(x,y)表示x和y之间用范数\|\cdot\|表示距离。最常见的就是n维欧式空间下的距离
我们用dist(x,y)表示x和y之间用范数∥⋅∥表示距离。最常见的就是n维欧式空间下的距离
d
i
s
t
(
x
,
y
)
=
[
(
x
1
−
y
1
)
2
+
…
…
+
(
x
n
−
y
n
)
2
]
1
/
2
dist(x,y)=[(x_1-y_1)^2+……+(x_n-y_n)^2]^{1/2}
dist(x,y)=[(x1−y1)2+……+(xn−yn)2]1/2
其范数小于或等于1的所有向量的集合
B
=
{
x
∈
R
n
∣
∥
x
∥
≤
1
}
\mathcal B=\{ x\in R^n | \|x\| \le 1 \}
B={x∈Rn∣∥x∥≤1}
称
为
范
数
∥
⋅
∥
的
称为范数\|\cdot\|的
称为范数∥⋅∥的单位球。
单
位
球
具
有
以
下
性
质
:
单位球具有以下性质:
单位球具有以下性质:
∙
B
关
于
原
点
对
称
,
当
且
仅
当
−
x
∈
B
时
成
立
x
∈
B
\bullet \mathcal B关于原点对称,当且仅当-x\in \mathcal B时成立 x\in \mathcal B
∙B关于原点对称,当且仅当−x∈B时成立x∈B
∙
B
是
凸
集
,
\bullet \mathcal B 是凸集,
∙B是凸集,
∙
B
是
有
界
闭
集
,
内
部
非
空
。
\bullet \mathcal B是有界闭集,内部非空。
∙B是有界闭集,内部非空。
反
之
,
如
果
C
⊂
R
n
是
满
足
这
三
个
条
件
的
任
何
集
合
,
它
就
是
一
种
范
数
的
单
位
反之,如果C\subset R^n是满足这三个条件的任何集合,它就是一种范数的单位
反之,如果C⊂Rn是满足这三个条件的任何集合,它就是一种范数的单位
####下面给出一些例子
最
简
单
的
范
数
例
子
是
R
上
的
绝
对
值
最简单的范数例子是R上的绝对值
最简单的范数例子是R上的绝对值
∥
x
∥
1
=
∣
x
1
∣
+
∣
x
2
∣
+
…
…
+
∣
x
n
∣
\|x\|_1=|x_1|+|x_2|+……+|x_n|
∥x∥1=∣x1∣+∣x2∣+……+∣xn∣
称
之
为
称之为
称之为绝对值之和
或
或
或
ℓ
1
范
数
\ell_1范数
ℓ1范数。无穷范数定义为
∥
x
∥
∞
=
m
a
x
{
∣
x
1
∣
,
…
…
,
∣
x
n
∣
}
\|x\|_\infty=max\{|x_1|,……,|x_n|\}
∥x∥∞=max{∣x1∣,……,∣xn∣}
又
叫
C
h
e
b
y
s
h
e
v
或
ℓ
∞
范
数
又叫Chebyshev或\ell_\infty范数
又叫Chebyshev或ℓ∞范数,
更
一
般
的
有
ℓ
p
更一般的有\ell_p
更一般的有ℓp范数,
p
≥
1
p\ge 1
p≥1
∥
x
∥
p
=
(
∣
x
1
∣
p
+
…
…
+
∣
x
n
∣
n
)
1
/
p
\|x\|_p=(|x_1|^p+……+|x_n|^n)^{1/p}
∥x∥p=(∣x1∣p+……+∣xn∣n)1/p,
可
以
看
到
p
=
1
为
ℓ
1
范
数
,
p
=
2
为
E
u
c
l
i
d
范
数
,
p
→
∞
为
ℓ
∞
范
数
可以看到p=1为\ell_1范数,p=2为Euclid范数,p\rightarrow\infty为\ell_\infty范数
可以看到p=1为ℓ1范数,p=2为Euclid范数,p→∞为ℓ∞范数
还
有
一
类
范
数
是
二
次
范
数
。
对
P
∈
S
+
+
n
,
我
们
定
义
P
−
二
次
范
数
如
下
还有一类范数是二次范数。对P\in S_{++}^n,我们定义P-二次范数如下
还有一类范数是二次范数。对P∈S++n,我们定义P−二次范数如下
∥
x
∥
P
=
(
x
T
P
x
)
1
/
2
=
∥
P
1
/
2
x
∥
2
\|x\|_P=(x^TPx)^{1/2}=\|P^{1/2}x\|_2
∥x∥P=(xTPx)1/2=∥P1/2x∥2
二
次
范
数
的
单
位
求
是
椭
圆
,
当
P
=
E
(
单
位
矩
阵
)
,
就
等
同
于
前
面
的
球
二次范数的单位求是椭圆,当P=E(单位矩阵),就等同于前面的球
二次范数的单位求是椭圆,当P=E(单位矩阵),就等同于前面的球
对于矩阵
R
m
×
n
上
的
范
数
由
有
F
r
o
b
e
n
i
u
s
范
数
R^{m\times n}上的范数由有Frobenius范数
Rm×n上的范数由有Frobenius范数(见范数第一篇)‘绝对值之和范数
∥
x
∥
F
=
∑
i
=
1
m
∑
j
=
1
n
∣
x
i
j
∣
2
\|x\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|x_{ij}|^2}
∥x∥F=i=1∑mj=1∑n∣xij∣2
以及最大绝对值范数:
∥
x
∥
m
a
v
=
m
a
x
{
∣
X
i
j
∣
i
=
1
,
…
m
;
j
=
1
,
…
,
n
}
\|x\|_{mav}=max\{|X_{ij}|i=1,…m;j=1,…,n\}
∥x∥mav=max{∣Xij∣i=1,…m;j=1,…,n}
这些概念挺重要的,以后会经常用到,希望大家理解。