本文深入探讨了向量和矩阵范数的概念，包括它们的定义、性质和等价性。通过证明展示了不同范数之间的关系，如1范数、2范数和无穷范数。此外，还讨论了向量和矩阵的收敛性，矩阵特征值与谱半径的关系，以及线性方程组的条件数和误差分析。预条件方法和迭代改善在解决病态方程组中的作用也被提及。
范数
向量范数
常见范数
- p范数(p = 1, 2, ∞ \infty ∞, ⋯ \cdots ⋯): ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p ||x||_p = (\sum\limits_{i=1}^{n}|x_i|^p)^{\frac{1}{p}} ∣∣x∣∣p=(i=1∑n∣xi∣p)p1
- 0范数：向量中非0分量的个数（用来衡量稀疏度）
定义：向量范数
设 ∣ ∣ ⋅ ∣ ∣ ||\cdot|| ∣∣⋅∣∣是向量空间 R n R^n Rn上的实值函数，且满足条件：
-
非负性： ∣ ∣ ⋅ ∣ ∣ ≥ 0 ||\cdot||\geq0 ∣∣⋅∣∣≥0 ，且 ∣ ∣ x ∣ ∣ = 0 ||x|| = 0 ∣∣x∣∣=0当且仅当 x = 0 x=0 x=0
-
齐次性：对任何实数 α \alpha α和向量 x ∈ R n x\in{R^n} x∈Rn : ∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha{x}||=|\alpha|\cdot||x|| ∣∣αx∣∣=∣α∣⋅∣∣x∣∣
-
三角不等式：对任意向量 x , y ∈ R n x, y\in{R^n} x,y∈Rn ∣ ∣ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leq||x|| + ||y|| ∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣
则称 ∣ ∣ ⋅ ∣ ∣ ||\cdot|| ∣∣⋅∣∣为 R n R^n Rn空间上的范数， ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣为向量 x x x的范数
定理：范数的等价性
对于 R n R^n Rn上的任何两种向量范数 ∣ ∣ ⋅ ∣ ∣ α ||\cdot||_{\alpha} ∣∣⋅∣∣α和 ∣ ∣ ⋅ ∣ ∣ β ||\cdot||_{\beta} ∣∣⋅∣∣β，存在正常数m, M，使得：
m ∣ ∣ x ∣ ∣ β ≤ ∣ ∣ x ∣ ∣ α ≤ M ∣ ∣ x ∣ ∣ β , ∀ x ∈ R n m||x||_{\beta} \leq ||x||_{\alpha} \leq M||x||_{\beta}, \quad \forall{x}\in{R^n} m∣∣x∣∣β≤∣∣x∣∣α≤M∣∣x∣∣β,∀x∈Rn
证明：
首先证明范数的连续性
将 R n R^n Rn中的向量表示为 x = ∑ i = 1 n x i e i x = \sum\limits_{i=1}^{n}{ {x_i}{e_i}} x=i=1∑nxiei, 其中 e 1 , e 2 , ⋯ , e n e_1, e_2, \cdots, e_n e1,e2,⋯,en为n维单位坐标向量
f ( x ) = ∣ ∣ x ∣ ∣ α f(x) = ||x||_{\alpha} f(x)=∣∣x∣∣α由于：
∣ f ( x ) − f ( y ) ∣ = ∣ ∣ ∣ x ∣ ∣ α − ∣ ∣ y ∣ ∣ α ∣ ≤ ∣ ∣ x − y ∣ ∣ α = ∣ ∣ ∑ i = 1 n ( x i − y i ) e i ∣ ∣ ( 三 角 不 等 式 ) ≤ ∑ i = 1 n ∣ x i − y i ∣ ⋅ ∣ ∣ e i ∣ ∣ α ( 三 角 不 等 式 ， 范 数 定 义 ) ≤ ∑ i = 1 n ∣ x i − y i ∣ 2 ∑ i = 1 n ∣ ∣ e i ∣ ∣ α 2 （ 柯 西 − 施 瓦 茨 不 等 式 ） |f(x) - f(y)| = |\quad||x||_{\alpha} - ||y||_{\alpha}\quad|\\ \leq ||x -y||_{\alpha}=||\sum\limits_{i=1}^{n}(x_i - y_i)e_i||\quad(三角不等式)\\\leq\sum\limits_{i=1}^{n}|x_i - y_i|\cdot||e_i||_{\alpha}\quad(三角不等式，范数定义)\\\leq\sqrt{\sum\limits_{i=1}^{n}|x_i - y_i|^2}\sqrt{\sum\limits_{i=1}^{n}||e_i||_{\alpha}^2}\quad（柯西-施瓦茨不等式） ∣f(x)−f(y)∣=∣∣∣x∣∣α−∣∣y∣∣α∣≤∣∣x−y∣∣α=∣∣i=1∑n(xi−yi)ei∣∣(三角不等式)≤i=1∑n∣xi−yi∣⋅∣∣ei∣∣α(三角不等式，范数定义)≤i=1∑n∣xi−yi∣2i=1∑n∣∣ei∣∣α2（柯西−施瓦茨不等式）
于是： lim Δ x → 0 Δ f ( x ) = 0 \lim\limits_{\Delta{x}\rightarrow{0}}\Delta{f(x)} = 0 Δx→0limΔf(x)=0, 即 f ( x ) f(x) f(x)是 R n R^n Rn上的连续函数
采用 β \beta β =2来证明范数等价性
引入 R n R^n Rn中的有界闭集 S n = { x : ∣ ∣ x ∣ ∣ 2 = 1 , x ∈ R n } S^n = \{ {x:||x||_2 = 1,\quad x\in{R^n}}\} Sn={ x:∣∣x∣∣2=1,x∈Rn}
根据连续函数性质， f ( x ) f(x) f(x)在 S n S^n Sn上达到最大和最小值，即存在点 x 1 , x 2 ∈ S n x_1, x_2\in{S^n} x1,x2∈Sn，使得：
0 ≤ m = f ( x 1 ) ≤ f ( x ) ≤ f ( x 2 ) = M , ∀ x ∈ S n 0 \leq m = f(x_1) \leq f(x) \leq f(x_2) = M, \forall{x} \in {S^n} 0≤m=f(x1)≤f(x)≤f(x2)=M,∀x∈Sn
若 x = 0 x = 0 x=0，则m，M可取任意正常数
若 x ≠ 0 x \ne 0 x=0，则对任何 x ∈ R n x\in{R^n} x∈Rn，由于 ∣ ∣ x ∣ ∣ α ∣ ∣ x ∣ ∣ 2 ∈ S n \frac{||x||_{\alpha}}{||x||_2}\in{S^n} ∣∣x∣∣2∣∣x∣∣α∈Sn，则有：
0 < m ≤ f ( x ∣ ∣ x ∣ ∣ 2 ) = ∣ ∣ x ∣ ∣ α ∣ ∣ x ∣ ∣ 2 ≤ M , ∀ x ∈ R n 0<m\leq{f(\frac{x}{||x||_2})}=\frac{||x||_{\alpha}}{||x||_2}\leq{M},\quad \forall x \in {R^n} 0<m≤f(∣∣x∣∣2x)=∣∣x∣∣2∣∣x∣∣α≤M,∀x∈Rn
即 m ∣ ∣ x ∣ ∣ 2 ≤ ∣ ∣ x ∣ ∣ α ≤ M ∣ ∣ x ∣ ∣ 2 m||x||_2 \leq ||x||_{\alpha} \leq M||x||_2 m∣∣x∣∣2≤∣∣x∣∣α≤M∣∣x∣∣2
其他的 β \beta β范数同理，从而证明了范数等价性
矩阵范数等价性的证明完全类似
范数的等价性表明：一个向量若按照某种范数是一个小量，则它按照任何一种范数也将是一个小量
常用的三种向量范数满足下述等价关系：
∣ ∣ x ∣ ∣ ∞ ≤ ∣ ∣ x ∣ ∣ 1 ≤ n ∣ ∣ x ∣ ∣ ∞ ||x||_\infty \leq ||x||_1 \leq n||x||_\infty ∣∣x∣∣∞≤∣∣x∣∣1≤n∣∣x∣∣∞ (1)
∣ ∣ x ∣ ∣ ∞ ≤ ∣ ∣ x ∣ ∣ 2 ≤ n ∣ ∣ x ∣ ∣ ∞ ||x||_\infty \leq ||x||_2 \leq \sqrt{n}||x||_\infty ∣∣x∣∣∞≤∣∣x∣∣2≤n
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
