最优化基础(二)1
向量和矩阵范数
在算法的收敛性分析中,需要用到向量和矩阵范数的概念及其有关理论。范数(norm),是具有“长度”概念的函数。
设Rn 表示实n维向量空间,Rn×n 表示实n阶矩阵全体所组成的线性空间.在这两个空间中,我们分别定义向量和矩阵的范数.
向量范数
向量x∈Rn的范数∥x∥是一个非负数,它必须满足以下条件:
1.非负性: ∥x∥≥0,且∥x∥=0当且仅当x=0时成立 。
2.齐次性:∥λ⋅x∥=|λ|⋅∥x∥,λ∈R
3.三角不等式:||x+y||≤||x||+||y||
向量x=(x1,⋯,xn)T的p-范数定义为
可以验证 p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的,这个结论通常称为 闵可夫斯基(Minkowski)不等式。
常用的向量范数有:
1-范数,计算方式为向量所有元素的绝对值之和
2-范数,计算方式跟欧式距离的方式一致。
∞-范数,所有向量元素中的最大值。
−∞-范数,所有向量元素中的最小值。
## 矩阵范数
矩阵A∈Rn×n的范数是一个非负实数,它除了满足跟向量范数相似的三条性质之外,还必须具备乘法性质:
4.∥AB∥≤∥A∥∥B∥,A,B∈Rn×n
如果一矩阵范数∥⋅∥μ 相对于某向量范数∥⋅∥满足下面的不等式
5.∥Ax∥≤∥A∥μ∥x∥,x∈Rn
则称矩阵范数∥⋅∥μ 和向量范数∥⋅∥是相容的. 进一步,若存在x≠0使成立
则称矩阵范数 ∥⋅∥μ 是由向量范数 ∥⋅∥诱导出来的算子范数,简称算子范数,有时也称为从属于向量范数 ∥⋅∥的矩阵范数. 此时向量范数和算子范数通常采用相同的符号 ∥⋅∥。
不难验证,从属于向量范数∥x∥∞, ∥x∥1, ∥x∥2 的矩阵范数分别为
它们分别称作行和范数、列和范数和谱范数.
通常按下述方式定义的F-范数:
向量范数的等价定理以及矩阵范数的等价定理
定理
(1)设∥⋅∥和∥⋅∥′是定义在Rn上的两个向量范数,则存在两个正数c1, c2,对所有x∈Rn均成立
(2)设 ∥⋅∥和 ∥⋅∥′是定义在 Rn×n上的两个矩阵范数,则存在两个正数 m1, m2,对所有 A∈Rn×n均成立
下面,我们利用范数的概念来等价地定义向量序列和矩阵序列的收敛性.
定理:
(1) 设{x(k)}为n维向列序列,∥⋅∥为定义在Rn上的向量范数,则
(2)设 {A(k)}为 n×n矩阵序列, ∥⋅∥为定义在 Rn×n 上的向量范数,则
- 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩