范数的理解(概念、向量范数、矩阵范数)

范数的理解(概念、向量范数、矩阵范数)

范数的概念

在学习过程中,我们会用到1范数、2范数、p范数、∞范数去判断收敛性、稳定性。那么范数到底代表了什么呢?简单来说,范数就是一个衡量“距离”、“长度”或者“大小”的一个指标,该指标可以用来比较不同的“数”的大小。不同的范数种类代表了不同的衡量标准,但本质相同。

现实生活中,人的高矮可以用身高来衡量,两点之间的距离可以用尺子来测量。一维中的-1和10的距离,我们可以用他们差的绝对值来衡量。二维空间内点 ( x 1 , y 1 ) (x_1,y_1) x1,y1, ( x 2 , y 2 ) (x_2,y_2) x2,y2的距离可以用通过 ( ( x 1 − x 2 ) 2 + ( y 1 − y 2 ) 2 ) 1 / 2 {({(x_1-x_2)}^2+{(y_1-y_2)}^2)}^{1/2} ((x1x2)2+(y1y2)2)1/2来衡量,三维空间两点 ( x 1 , y 1 , z 1 ) (x_1,y_1,z_1) x1,y1,z1, ( x 2 , y 2 , z 2 ) (x_2,y_2,z_2) x2,y2,z2的距离可以用 ( ( x 1 − x 2 ) 2 + ( y 1 − y 2 ) 2 + ( z 1 − z 2 ) 2 ) 1 / 2 {({(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2)}^{1/2} ((x1x2)2+(y1y2)2+(z1z2)2)1/2来衡量,当然三维空间内计算某个点到原点之间的距离就直接用 ( x 1 2 + y 1 2 + z 1 2 ) 1 / 2 {({x_1}^2+{y_1}^2+{z_1}^2)}^{1/2} (x12+y12+z12)1/2得到。这种距离的概念我们是习以为常的,但其实到这儿我们都已经在开始使用范数了,例子所说的衡量方式就利用到了二范数,后面会介绍到。
但这只是所有衡量方式的一种,假如在4维、5维、n维空间内,如何去衡量空间内某个“数”(向量)的大小呢(或是理解某个向量到空间内“原点”的“距离”)?这就涉及到了后面讲的向量范数。在 m m mx n n n维的矩阵空间内,如何去衡量空间内某个“数”(矩阵)的大小呢?这涉及到后面讲的矩阵范数。

向量范数

定义

V V V F F F上的线性空间(加法、乘法具有封闭性), V V V上的实值函数
∥ . ∥ : V → R + \Vert . \Vert:V \xrightarrow[]{} \R^+ .:V R+
称为 V V V上的一个范数,如果它满足
(1)正定性:对于任意非零向量 x x x,都有 ∥ x ∥ > 0 \Vert x \Vert>0 x>0;
(2)正齐性:对于任意向量 x x x以及任意数 k k k,都有 ∥ k x ∥ = ∣ k ∣ ∥ x ∥ \Vert kx \Vert=|k|\Vert x \Vert kx=kx;
(3)三角不等式:对于任意两个向量 x x x y y y,都有 ∥ x + y ∥ ≥ ∥ x ∥ + ∥ y ∥ \Vert x+y \Vert \geq \Vert x \Vert+\Vert y \Vert x+yx+y;

向量范数类别

首先应该了解p-范数的概念:
∥ x ∥ = ( ∣ x n ∣ p + ∣ x n ∣ p + . . . + ∣ x n ∣ p ) 1 / p , 1 ≤ p ≤ ∞ \Vert x \Vert=(|x_n|^p+|x_n|^p+...+|x_n|^p)^{1/p},1\leq p \le∞ x=(xnp+xnp+...+xnp)1/p,1p
可以通过定义去证明这满足范数的定义。由此我们可以得到常用的 l 1 l_1 l1范数、 l 2 l_2 l2范数、 l ∞ l_∞ l范数,2范数就是平常意义下我们所说的距离:

l 1 范 数 ( 对 应 曼 哈 顿 距 离 ) : ∥ x ∥ = ( ∣ x 1 ∣ + ∣ x 2 ∣ + . . . + ∣ x n ∣ ) = ∑ i = 1 n ∣ x i ∣ l_1范数(对应曼哈顿距离):\Vert x \Vert=(|x_1|+|x_2|+...+|x_n|)=\sum_{i=1}^n|x_i| l1x=(x1+x2+...+xn)=i=1nxi

l 2 范 数 ( 对 应 欧 式 距 离 ) : ∥ x ∥ = ( ∣ x 1 ∣ 2 + ∣ x 2 ∣ + . . . + ∣ x n ∣ 2 ) 1 / 2 = ∑ i = 1 n ∣ x i ∣ 2 l_2范数(对应欧式距离):\Vert x \Vert=(|x_1|^2+|x_2|+...+|x_n|^2)^{1/2}=\sqrt{\sum_{i=1}^n|x_i|^2} l2x=(x12+x2+...+xn2)1/2=i=1nxi2

l ∞ 范 数 ( 对 应 切 比 雪 夫 距 离 ) : ∥ x ∥ = max ⁡ ∣ x 1 ∣ , ∣ x 2 ∣ , . . . , ∣ x n ∣ l_∞范数(对应切比雪夫距离):\Vert x \Vert=\max{|x_1|,|x_2|,...,|x_n|} lx=maxx1,x2,...,xn

矩阵范数

定义

设对任意的正整数 m m m n n n,以及任意的 m × n m \times n m×n矩阵 A A A,都有一个对应的实数 ∥ A ∥ \Vert A \Vert A,若对应关系满足
称为 V V V上的一个范数,如果它满足
(1)正定性:对于任意的 m × n m \times n m×n非零矩阵 A A A,都有 ∥ A ∥ > 0 \Vert A \Vert>0 A>0;
(2)正齐性:对于任意矩阵 A A A以及任意数 k k k,都有 ∥ k A ∥ = ∣ k ∣ ∥ A ∥ \Vert kA \Vert=|k|\Vert A \Vert kA=kA;
(3)三角不等式(加法相容性):若两个矩阵 A A A B B B可以相加,则 ∥ A + B ∥ ≥ ∥ A ∥ + ∥ B ∥ \Vert A+B \Vert \geq \Vert A \Vert+\Vert B \Vert A+BA+B;
(4)乘法相容性:若两个矩阵 A A A B B B可以相乘,则 ∥ A B ∥ ≥ ∥ A ∥ ∥ B ∥ \Vert AB \Vert \geq \Vert A \Vert\Vert B \Vert ABAB;
则称对应关系 ∥ . ∥ \Vert . \Vert .是一个矩阵范数。

同样的,其可以理解为是一个映射,由矩阵空间映射到正实数域。并且满足上述条件 ∥ . ∥ : U m , n ≥ 1 F m × n → R + \Vert . \Vert:\rm U_{m,n\geq1 } \rm F^{m\times n} \xrightarrow[]{} \R^+ .:Um,n1Fm×n R+

矩阵范数类别

1 范 数 : ∥ A ∥ 1 = max ⁡ { ∑ i = 1 m ∣ a i 1 ∣ , ∑ i = 1 m ∣ a i 2 ∣ , . . . , ∑ i = 1 m ∣ a i n ∣ } 1范数:\Vert A \Vert_1=\max \left\{{\sum_{i=1}^m|a_{i1}|},{\sum_{i=1}^m|a_{i2}|},...,{\sum_{i=1}^m|a_{in}|}\right\} 1A1=max{i=1mai1,i=1mai2,...,i=1main}(列和范数,A每一列元素绝对值之和的最大值)

2 范 数 : ∥ A ∥ 2 = max ⁡ { λ i ( A H A ) } 1 / 2 = max ⁡ ∣ λ i ∣ 2范数:\Vert A \Vert_2=\max \left\{ \lambda_i(A^HA)\right\}^{1/2}=\sqrt {\max |\lambda_i|} 2A2=max{λi(AHA)}1/2=maxλi (谱范数,即 A H A A^HA AHA的最大特征值的模长的平方根, A H A^H AH代表 A A A的共轭转置)

注意:特征值的模的最大值为A的谱半径,记为 ρ ( A ) = max ⁡ { ∣ λ i ∣ } \rho (A)=\max \left\{ |\lambda_i|\right\} ρ(A)=max{λi},注意要将谱半径与谱范数(2-范数)区别开来。谱范数是指 A H A A^HA AHA的最大奇异值,即 A H A A^HA AHA最大特征值的算术平方根 λ m a x ( A H A ) \sqrt {\lambda_{max}(A^HA)} λmax(AHA)

∞ 范 数 : ∥ A ∥ ∞ = max ⁡ { ∑ j = 1 n ∣ a 1 j ∣ , ∑ j = 1 n ∣ a 2 j ∣ , . . . , ∑ j = 1 n ∣ a m j ∣ } ∞范数:\Vert A \Vert_∞=\max \left\{{\sum_{j=1}^n|a_{1j}|},{\sum_{j=1}^n|a_{2j}|},...,{\sum_{j=1}^n|a_{mj}|}\right\} A=max{j=1na1j,j=1na2j,...,j=1namj}(行和范数,A每一行元素绝对值之和的最大值)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值