数值代数中的数学原理及其证明（一）

最新推荐文章于 2024-08-24 01:31:05 发布

鲸鲸爱柠檬

最新推荐文章于 2024-08-24 01:31:05 发布

阅读量3.9k

点赞数 6

分类专栏：数值代数文章标签：矩阵

本文链接：https://blog.csdn.net/weixin_58256469/article/details/126542561

版权

数值代数专栏收录该内容

1 篇文章 1 订阅

订阅专栏

前言

在这里整理一些数值代数中重要定理以及数学证明。本章主要介绍向量范数与矩阵范数。

向量范数

向量范数定义：

一个从 $R^n$ 到 $R$ 的非负函数 $||\cdot ||$ 叫做 $R^n$ 上的向量范数，如果它满足：

（1）正定性： $\forall x \in R^n,||x||\geq 0;||x||=0\Leftrightarrow x=0$

（2）齐次性： $\forall x\in R^n, \alpha\in R,||\alpha x|| = |\alpha| ||x||$

（3）三角不等式： $\forall x, y\in R^n, ||x+y||\leq ||x||+||y||$

常用向量范数：

p范数： $||x||_p = (|x_1|^p + |x_2|^p +\cdots +|x_n|^p)^{\frac{1}{p}}, p\geq 1$

其中 $p=1,2,\infty$ 最常用。

常用不等式（用于证明范数）：

Cauchy-Schwartz不等式： $|x^Ty| \leq ||x||_2||y||_2, x,y \in R^n$
Holder不等式： $|x^Ty|\leq ||x||_p||y||_q, \frac{1}{p} + \frac{1}{q} = 1$

范数性质：

1、

$| ||x||-||y|| |\leq ||x-y||\leq \max_{1\leq i\leq n} ||e_i||\sum_{i=1}^n|x_i-y_i|$

2、任意两范数 $||\cdot ||_{\alpha}, ||\cdot||_{\beta}$ ，存在常数 $c_1, c_2$ ，有

$\forall x\in R^n, c_1||x||_{\alpha} \leq ||x||_{\beta}\leq c_2 ||x||_{\alpha}$

3、向量序列的范数收敛等价于其分量收敛，也即对 $x_k\in R^n$ ，有

$\lim_{k\to \infty}|x_i^{(k)} - x_i| = 0\Leftrightarrow \lim_{k\to \infty}|x_i^{(k)}-x_i| = 0,i=1,\cdots,n$

矩阵范数：

矩阵范数定义：

一个从 $R^{n\times n}$ 到R的非负函数 $||\cdot ||$ 叫做 $R^{n\times n}$ 上的矩阵范数，如果满足：

（1）正定性：对所有 $A\in R^{n\times n}$ ，有 $||A||\geq 0, ||A||=0 \Leftrightarrow A=0$

（2）齐次性： $\forall A\in R^{n\times n}, \alpha \in R, ||\alpha A|| = |\alpha|||A||$

（3）三角不等式： $\forall A, B \in R^{n\times n},||A+B|| \leq ||A|| + ||B||$

（4）相容性： $\forall A, B \in R^{n\times n},||AB|| \leq ||A|| ||B||$

相容定义：

若矩阵范数 $||\cdot ||_M$ 和向量范数 $||\cdot ||_v$ 满足

$||Ax||_v\leq ||A||_M ||x||_v, A\in R^{n\times n}, x\in R^n$

则称矩阵范数与向量范数是相容的。

常用矩阵范数：

设 $||\cdot ||$ 是 $R^n$ 上的一个向量范数，若定义

$|||A||| = \max_{||x||=1}||Ax||, A\in R^{n\times n}$

则上述是 $R^{n\times n}$ 上的一个矩阵范数。该范数也称为从属于向量范数 $||\cdot ||$ 的矩阵范数，也称为向量范数 $||\cdot ||$ 诱导出的算子范数。该范数与向量范数 $||\cdot ||$ 相容。

矩阵范数性质：

1、 $R^{n\times n}$ 上的任意两个矩阵范数是等价的

2、矩阵序列的范数收敛等价于其元素收敛

常用范数及其定理：

算子范数 $||\cdot ||_p$ :

$||A||_p = \max_{||x||_p =1} ||Ax||_p, A\in R^{n\times n}$

且有：

$\\ ||A||_1 = \max_{1\leq j\leq n} \sum_{i=1}^n |a_{ij}|,\\ ||A||_{\infty} = \max_{1\leq i\leq n} \sum_{j=1}^n |a_{ij}|,\\ ||A||_2 = \sqrt{\lambda_{\max}(A^TA)}$

对于1，2， $\small \infty$ 范数，我们也称之为列和范数、行和范数和谱范数。

除此之外，我们还有Frobenius范数：

$||A||_F = (\sum_{i,j=1}^n|a_{ij}|^2)^{\frac{1}{2}}$

对于 $||A||_1$ 为范数的简单证明：

对任意满足 $\small |x|_1 =\sum_{i=1}^n |x_i| = 1$ 的x，有

$\small ||Ax||_1 = ||\sum_{j=1}^n x_j a_j ||_1 \leq \sum_{j=1}^n |x_j| ||a_j||_1 \leq (\sum_{j=1}^n |x_j| )\max_{1\leq j\leq n} ||a_j||_1 = ||a_{j_0}||_1 = \delta$

同时，取n阶单位矩阵第 $\small j_0$ 列 $\small e_{j_0}$ ，则有 $\small ||e_{j_0}||=1$ ，且

$\small ||A e_{j_0}||_1 = ||a_{j_0}||_1 = \delta$

因此，等号可取到，原式成立。

对于 $\small ||A||_{\infty}$ 为范数的简单证明：

对任意满足 $\small ||x||_{\infty}=1$ 的x，有

$\small ||Ax||_{\infty} = \max_{1\leq i \leq n}|\sum_{j=1}^n a_{ij}x_j|\leq \max_{1\leq i\leq n} \sum_{j=1}^n |a_{ij}| |x_j| \leq \max_{1\leq i \leq n}\sum_{j=1}^n|a_{ij}|=\eta$

设A的第k行的1范数最大，令 $\small \hat{x} = (sgn (a_{k1}), \cdots ,sgn(a_{kn}))^T$ ,易证 $\small ||A\hat{x}||_{\infty} = \eta$ ，因此，等号可取到，原式成立。

对于2范数的简单证明：

$\small ||A||_2 =\max_{||x||_2 = 1}||Ax||_2 = \max_{||x||_2 = 1}[(Ax)^T Ax]^{\frac{1}{2}} = \max_{||x||_2 = 1}[x^T(A^TA)x]^{\frac{1}{2}}$

$\small A^TA$ 为半正定矩阵，其特征值为 $\small \lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n \geq 0$ ，其对应正交规范特征向量为 $\small v_1, v_2, \cdots , v_n \in R^n$ ，则对任意满足 $\small ||x||_2 = 1$ 的向量，有