矩阵分析期末总结

矩阵分析

1 线性空间与线性变换

1.1 向量

1. 向量的定义：
   1. 分量
   2. 几何：既有方向又有大小，如把尾部拉到坐标系原点，则向量与坐标系中的点一一对应
2. 向量的运算：
   1. 加法：a+b=
      • 几何：平行四边形法则
   2. 数乘：
      • 几何：向量的伸缩
   3. 其他运算：
3. 向量空间：
   1. 对加法和数乘封闭：
   2. 向量张成的空间：
   3. 几何：

1.2 线性空间

1. 定义：在向量空间的基础上，加法和数乘的结果唯一，且满足8条规则，则为线性空间：
   • 8条规则：
2. 性质：
   • 线性相关：不全为0，
     • 线性无关
     • 充要条件：至少一个向量可由其他向量线性表示
     • 秩：r：r个线性无关，r+1个线性相关
     • 充要条件2：rank(a1,a2,……,am)<m
     • 极大线性无关组：秩为r，任意r个线性无关的向量

1.3 子空间

1. 定义：W是V的子集，W关于V中加法数乘也是线性空间——W是子空间
   • 平凡子空间：V、
   • 非平凡子空间
   • 真子空间
2. 性质：
   • 生成子空间：span{a1,a2,……,am}/L{a1,a2,……,am}：
     • a1,a2……,am可以由b1,b2,……bn线性表示，则
3. 运算：

   1. 交：子空间的交也是子空间（子空间的并不是子空间）

   2. 和：子空间的和也是子空间：

   3. 直和：
      $$若a表示为a_1+a_2,a_1\in W_1,a_2\in W_2的方式唯一，则称W_1+W_2为直和，记为W_1\oplus W_2$$

      • 子空间的直和也是子空间

      • 以 下 条 件 等 价 ： ( 1 ) W 1 + W 2 是 直 和 ( 2 ) θ = a 1 + a 2 → a 1 = a 2 = θ ( 3 ) W 1 ∩ W 2 = { θ } 以下条件等价：\\ (1)W_1+W_2是直和\\ (2)\theta=a_1+a_2\rightarrow a_1=a_2=\theta\\ (3)W_1\cap W_2=\{\theta\} 以下条件等价：(1)W1​+W2​是直和(2)θ=a1​+a2​→a1​=a2​=θ(3)W1​∩W2​={θ}

1.4 基与维数

1. 定义：a1,a2,……,am为V的一组基，m为维数，记为dim(V)

   1. a1,a2,……,am线性无关
   2. a1,a2,……,am,b线性相关

2. 坐标：
   $$\begin{gathered} a=x_1{a}_1+x_2{a}_2+\cdots +x_m{a}_m \\ 称x_1,x_2,\cdots ,x_m是元素a在基a_1,a_2,\cdots ,a_m下的坐标 \end{gathered}$$

3. 性质：
   $$设V是m维线性空间，V中任意m个线性无关的向量组都是V的一组基$$

4. 子空间交引定理：
   $$dim(S_1\cap S_2)+dim(S_1+S_2)=dim(S_1)+dim(S_2)$$

   • $$\begin{gathered} 证明： \\ 设dim(S_1\cap S_2)=r，则取S_1\cap S_2的一组基a_1,a_2,\cdots ,a_r，并将之扩张成S_1的基a_1,\cdots ,a_r,a_{r+1},\cdots ,a_{r+s} \\ 和S_2的基a_1,\cdots ,a_r,b_{r+1},\cdots ,b_{r+t} \\ 对于S_1+S_2，设 \\ {\lambda }_1{a}_1+\cdots +{\lambda }_r{a}_r+{\mu }_1{a}_{r+1}+\cdots +{\mu }_s{a}_{r+s}+{\kappa }_1{b}_{r+1}+\cdots +{\kappa }_t{b}_{r+t}=\theta \\ 可得{\lambda }_1{a}_1+\cdots +{\lambda }_r{a}_r+{\mu }_1{a}_{r+1}+\cdots +{\mu }_s{a}_{r+s}=-({\kappa }_1{b}_{r+1}+\cdots +{\kappa }_t{b}_{r+t})=v \\ 所以v\in S_1\cap S_2，v={\sigma }_1{a}_1+\cdots +{\sigma }_r{a}_r \\ 所以{\sigma }_1{a}_1+\cdots +{\sigma }_r{a}_r+{\kappa }_1{b}_{r+1}+\cdots +{\kappa }_t{b}_{r+t}=\theta \\ 所以{\sigma }_1=\cdots ={\sigma }_r={\kappa }_1=\cdots ={\kappa }_t=0 \\ 所以{\lambda }_1=\cdots ={\lambda }_r={\mu }_1=\cdots ={\mu }_s=0 \\ 所以a_1,\cdots ,a_r,a_{r+1},\cdots ,a_{r+s},b_{r+1},\cdots ,b_{r+t}线性无关，所以dim(S_1+S_2)=r+s+t \end{gathered}$$

1.5 线性变换

1. 映射定义：
   $$\begin{gathered} 指定规则f，对于A中每一个元素x，B中都有唯一元素y与之对应， \\ 则f为从A到B的一个映射，记为f:A\to B \end{gathered}$$

2. 线性变换定义：
   $$\begin{gathered} f(A+B)=f(A)+f(B) \\ \lambda f(A)=f(\lambda A) \\ 则称f是V的一个线性变换 \end{gathered}$$

3. 性质：

4. 几何意义：把线变成线

5. 运算：

   1. 乘积：
   2. 和：
   3. 数乘：

6. 值域与核：

   1. 像空间：（值域）
   2. 核：
   3. 定理：像空间与核都是子空间
   4. 定理：

1.6 矩阵

1. 定义：矩阵就是变换：
   • 形式上：mn个数
2. 几何意义：把一个n维线性空间中的向量映射为（另）一个m维线性空间中的向量
3. 运算：
   1. 加
   2. 乘
   3. 转置
   4. 共轭转置
   5. 秩（行秩等于列秩）
   6. 行列式（方阵）：
      • 几何意义：变换后体积的缩放因子
   7. 特征值与特征向量
      • 几何意义：把向量变为同维数向量的时候，只发生了伸缩
4. 酉矩阵与实正交矩阵：
5. 其他形式的矩阵：

矩阵分解

2.1 QR分解

1. 定义：正交矩阵x上三角矩阵：
2. 定理：QR分解总是存在：
3. 意义：Gram–Schmidt正交化作用到矩阵列向量的分解形式：
   1. 求b：
   2. 反向：
   3. 矩阵：
4. 几何意义：采用Householder变换依次将列向量转换为指定上三角形式：
   1. Householder变换：
   3. 转换为上三角：
5. 用途：最小二乘：
6. Householder与Givens矩阵：
   1. 定理：
      • 推论：
   2. Givens矩阵：
      1. 定义：
      2. 性质：
      3. 定理：
      4. 几何意义：在两个坐标确定平面内旋转到单位向量

2.2 奇异值分解

1. 定义：奇异值分解是特征值及特征向量分解在任意矩阵的推广：
   3. U、V是酉矩阵
2. 意义：
   1. 代数意义：一般矩阵的特征分解：
   2. 几何意义：将正交的向量组变换到另外正交的向量组：
3. 计算：
4. 用途：图像压缩、去噪

2.3 极分解

1. 定义：
2. 本质：
3. 几何意义：
4. 用途：极分解得到的酉矩阵是和原矩阵“最接近”的正交矩阵

2.4 Cholesky分解

1. 定义：

2.5 谱分解

2.6 CS分解

2.7 其他分解

矩阵标准形

3.1 矩阵相似

1. 定义：

   • 酉相似：S=U

2. 代数意义：相似矩阵A和B是同一个线性变换在两个不同基下的表示矩阵，同一个线性变换在不同基下的矩阵是相似矩阵

3. 几何意义：

4. 对角化：与对角矩阵相似

   • 可对角化充要条件：有n个线性无关的特征向量
   • 可同时对角化：

5. 定理：

6. 用途：

3.2 Jordan标准形

1. Jordan块定义：
   • Jordan矩阵定义：
2. 定理：每个矩阵都与一个本质上唯一的Jordan矩阵相似
   1. Jordan块的个数k就是J的线性无关的特征向量的最大个数
   2. Jordan标准型的对角元素λ1， λ2，…， λk就是A的特征值
   3. 矩阵J可以对角化，当且仅当k=n，即所有Jordan块都是1×1

3.3 极小多项式

1. 矩阵的多项式：
2. 零化多项式：p(A)=O
3. 极小多项式：
   3. 求法：特征多项式降次数

矩阵范数

4.1 向量范数

1. 定义：
   $$\Vert \cdot \Vert$$

   • 例子：

2. 意义：反映大小或距离的函数，用于比较不同的向量

   • 向量2范数：向量的长度

3. 性质：

   • 范数等价：Fn上的所有向量范数等价
     • 定义：
   • 正交变换不改变向量的2范数

4.2 方阵范数

1. 定义：
2. 例子：
3. 意义：比较不同矩阵的差异大小：
4. 性质：
   1. F范数等于：
   2. F范数酉不变性：
   3. 单位矩阵（可以推出来）：

4.3 一般矩阵范数

1. 向量范数和方阵范数相容性：

   • 定理：矩阵范数必有向量范数与之相容

2. 从属范数：

   1. 定义：
   2. 定理：

3. 常用的矩阵范数：

4.4 矩阵的谱半径

1. 定义：方阵的最大特征值：
2. 性质：
3. 定理：
   • 意义：谱半径是矩阵的任意一种范数的下界
   • 定理：

4.5 矩阵的条件数

1. 定义：
   • 常用条件数：
2. 性质：
3. 用途：线性方程的稳定性：

矩阵函数

5.1 矩阵序列

1. 极限：

• 收敛：

$$k\to \infty ,A^{(k)}\to A$$

• 收敛矩阵：

$$k\to \infty ,A^k\to 0$$

• 极限的充要条件：

• 若，则（逆命题不成立）

2. 性质：

   2. A为收敛矩阵的充要条件：(谱半径小于1)
      $$\rho (A)<1$$

      • 推论：若，

5.2 矩阵级数

1. 定义：无穷和：

2. 部分和：

   • 定理：若部分和收敛，，则矩阵级数收敛，且

3. 绝对收敛：若mn个数项级数都绝对收敛，即都收敛，则称矩阵级数绝对收敛

   • 矩阵级数绝对收敛的充要条件：收敛

4. 幂级数：

   1. 定义：

   2. 例子：

   3. 绝对收敛：
      $$设纯量幂级数的收敛半径为R，且\rho (A)<R，则矩阵幂级数绝对收敛$$

      • 推论：
        $$||A||<R，矩阵幂级数收敛$$

   4. 性质：
      $$\rho (A)=\underset{k\to \infty }{\lim }||A^k|{|}^{1/k}$$

   5. 性质：
      $$A非奇异，且||I-A||<1，则A^{-1}=\sum _{k=0}^{\infty }(I-A{)}^k$$

5.3 常见矩阵函数

1. 矩阵函数f(A)定义：
   $$若f(z)=\sum _{k=0}^{+\infty }{\alpha }_k{z}^k,(|z|<r),且\rho (A)<r,则f(A)=\sum _{k=0}^{+\infty }{\alpha }_k{A}^k$$

2. 纯量幂级数与矩阵函数的对应：

3. 性质：

4. 用途：旋转变换：

5.4 矩阵微积分

1. 定义：
2. 微分运算法则：
3. 微分运算法则：
4. 矩阵作变量的微积分：
5. 用途：最小二乘：
   • 最小二乘解：
   • 法方程组：

5.5 广义逆矩阵

1. 可逆：
2. 推广：广义逆：
3. 定理：广义逆存在且唯一
4. Moore-Penrose广义逆：
5. 性质：

r-images\image-20220428225128367.png" alt=“image-20220428225128367” style=“zoom:33%;” />
3. 定理：广义逆存在且唯一
4. Moore-Penrose广义逆：
5. 性质：
6.

5.6 广义特征值