第二章 矩阵变换和计算-笔记与总结

第二章矩阵变换和计算

---

2.1 矩阵的三角分解及其应用

2.1.1Gauss消去法与矩阵的LU分解

定义 2.1 对于n阶方阵A，如果存在n阶单位下三角形矩阵L和n阶上三角形矩阵U，使得A=LU，则称其为矩阵A的LU分解，也称Doolittle分解。

定理2.1 （矩阵LU分解的存在和唯一性）如果n阶矩阵A的各阶顺序主子式D_k（k=1，2，…，n-1）均不为零，则必有单位下三角形矩阵L和上三角形矩阵U，使得A=LU，而且L和U是唯一的。

Gauss消去的过程求解Ax=b所需的总的乘法计算量为n³/3+n²-n/3,当n较大时，它和n³/3同阶。

2.1.2 Gauss列主元消去法与带列主元的LU分解

定理2.2 对任意n阶矩阵A，均存在置换矩阵P、单位下三角形矩阵L和上三角形矩阵U，使得PA=LU。

2.1.3 对称矩阵的Cholesky分解

定理2.3 （Cholesky分解）对任意n阶对称正定矩阵A，均存在下三角形矩阵L使A=LL^T成立（L为对角元为正数下三角形矩阵），称其为对称正定矩阵A的Cholesky分解。进一步，如果规定L的对角元为正数，则L是唯一确定的。

2.1.4 三对角矩阵的三角分解

定理2.4 设具有以下形式的三对角矩阵A，满足条件

（1）|b₁|>|c₁|>0
（2）|b_n|>|a_n|>0
（3）|b_i|>=|a_i|+|c_i|，a_ic_i不等于0，i=2，3，…，n-1，
则方程组Ax=f可用追赶法求解，且唯一。

2.1.5 条件数和方程组的性态

定义2.2 如果线性方程组Ax=b中，A或b的元素的微小变化，会引起方程组解的巨大变化，则称方程组为“病态”方程组，称矩阵A为“病态”矩阵，否则称方程组为“良态”方程组，称矩阵A为“良态”矩阵。

定义2.3 设A为非奇异矩阵，||·||为矩阵的算子范数，则称cond（A）=||A|| ||A^-1||为矩阵A的条件数。常用的条件数为
    cond_∞（A）=||A||_∞ ||A^-1||_∞
    cond₁（A）=||A||₁ ||A^-1||₁
    cond₂（A）=||A||₂ ||A^-1||₂=√（λ_max（A^HA）/λ_min（A^HA））

矩阵的条件数具有如下性质：
（1）cond（A）>=1
（2）cond（A）=cond（A^-1）
（3）cond（xA）=cond（A），x不等于0，x属于R
（4）如果U为正交矩阵，则
    cond₂（U）=1
    cond₂（UA）=cond₂（UA）=cond₂（A）
    cond（A）越大，解的相对误差可能越大，A对求解线性方程组来说越可能呈现病态。

定理2.5 设Ax=b，A为非奇异矩阵，b为非零向量且A和b均有扰动，若A的扰动δA非常小，使得||A^-1|| ||δA||<1,则
$$\frac{||\delta x||}{||x||}<=cond（A）\ast \frac{cond（A）}{1-cond（A）\frac{||\delta A||}{||A||}}（\frac{||\delta b||}{||b||}+\frac{||\delta A||}{||A||}）$$

2.1.6 矩阵的QR分解

Schmidt正交化方法，证明了若实方阵且rank（A）=n，则存在正交阵Q使Qx=||x||₂e₁
如果A为m×n阵（m>=n），rank（A）= n
使用同样的方法可以证明
$$\begin{array}{c}A=Q\left(\begin{array}{c}{R}_1\\ 0\end{array}\right)=QR\end{array}$$
其中R₁为对角元大于零的上三角形矩阵，矩阵的分解式称为矩阵A的QR分解。
cond₂（A）=cond₂（R）

定义2.4 设w属Rⁿ,w不等于0，称这种特殊的初等矩阵的初等矩阵
$$H（w）=I-\frac{2}{w^{T}w}w{w}^T$$
为Householder矩阵（简称H阵），或称Householder变换矩阵。
H阵性质：
（1）H（w）^T=H（w），即H阵为对称阵
（2）H（w）^TH（w）= I，即H阵为正交阵
（3）如果H（w）x=y，则||x||₂ =||y||₂，反之对于任意两个向量x，y属于Rⁿ,若||x||₂ =||y||₂，且x不等于y，则必存在Householder矩阵H，使得y=Hx

（4）设x=（x1，x2，…，xn）^T属于Rⁿ，且x不等于0，取w=x ± ||x||₂e₁
$$H（w）=H（x\pm ||x|{|}_2{e}_1）x=\pm ||x|{|}_2{e}_1=\pm ||x|{|}_2(1,0,...,0{)}^T$$

推论2.1 设x=（x₁，x₂，…，x_n）^T属于Cⁿ且x≠0，则存在Householder矩阵
$$H(w)=I-\frac{2}{w^{T}w}w{w}^T$$
使得H(w)x=αe₁,其中|α|=||x||₂，且αx^He₁为实数。

2.2 特殊矩阵的特征系统

定理2.8（Schur 定理）设A属于C^n×n,则存在酉阵U属于C^n×n使得
$$A=UR{U}^H$$
其中R属于Cⁿ为上三角形矩阵。
该定理还可以表示为：任意n阶方阵酉相似于一个以其特征值为对角元的上三角形矩阵R，通常称R为A的Schur标准型。

定义2.5 设A属于C^n×n，若
$$A^{H}A=A{A}^H$$
则A为正规矩阵。

常见的正规矩阵：

• Hermite阵（A^H=A）
• 实对称矩阵（A^T=A）
• 斜Hermite阵（A^H=-A）
• 实反对称矩阵（A^T=-A）
• 酉阵（A^HA=AA^H=I）
• 正交矩阵（A^TA=AA^T=I）

推论2.2 设A为n阶方阵，则A为正规矩阵的充分必要条件是存在n阶酉阵U，使得
$$A=UD{U}^H$$其中D为n阶对角矩阵。

推论2.3 设A属于C^n×n，则
（1）A为H阵的充分必要条件为，存在酉阵U属于C^n×n，使得$$A=UD{U}^H$$其中D为n阶实对角矩阵。
（2）A为斜H阵的充分必要条件为，存在酉阵U属于C^n×n，使得$$A=UD{U}^H$$其中D属于C^n×n为实对角阵，其对角元素为零或纯虚数。

推论2.4 设A属于C^n×n，则A为酉阵的充分必要条件为存在酉阵U属于C^n×n使得$$A=UD{U}^H$$，其中D为n阶对角阵，其对角元的模均为1。

定理2.9 设A为n阶方阵，任取ε>0，则在C^n×n中存在一种算子范数||·||_M（依赖矩阵A和常数ε），满足||Ⅰ||_M=1，并且
$$||A|{|}_M\le （A）+\epsilon$$

推论2.5 若ρ（A）<1，则存在范数 ||·|| ，使得||A||<1.

2.3 矩阵的Jordan分解

定义2.6 设A为n阶方阵，A的特征多项式为
$$det（\lambda I-A）=（\lambda -{\lambda }_1{）}^{m_1}（\lambda -{\lambda }_2{）}^{m_2}\dots （\lambda -{\lambda }_s{）}^{m_s}$$

• m_i（i=1,2,…s）均为正整数，，m₁+……+m_s=n
• λ_i为A的不同特征值，称m_i为特征值λ_i的代数重复度

特征值λ_i的线性无关特征向量的个数即子空间N（λ_iI-A）【即（（λ_iI—A）x=0）的一切解形成的空间，称为λ_iI_n—A的零空间】的维数为特征值的几何重复度，记为α_i
$${\alpha }_i=n-rank（{\lambda }_{i}I—A）$$

定理2.10 设A为n阶方阵，λ_i为其特征值，m_i和α_i分别为其代数重复度和几何重复度，则m_i≥α_i

定义2.7 设A为n阶方阵， ，如果m_i=α_i则称特征值λ_i为半单的；如果m_i＞α_i，则称特征值λ_i为亏损的。
如果矩阵A的某一个特征值代数重复度为1，则它一定是半单的。
定理2.11 n阶方阵A可对角化的充分必要条件是每一个特征值λ_i均为半单，即m_i=α_i，i=1,2…s
               A是不可对角化的充分必要条件时它有亏损的特征值，即存在i，使得m_i＞α_i。
因此，也称一个不可对角化的矩阵为亏损矩阵。

不可对角化的矩阵的相似标准型（Jordan分解形式）
定义2.8 称下面的k×k阶方阵
$$J_k(\lambda )=\left(\begin{array}{c}\lambda 1000\\ 0\lambda 100\\ 00\dots 10\\ 000\lambda 1\end{array}\right)$$为Jordan块。

定义2.9 由若干个Jordan块排成的块对角矩阵称为Jordan阵。
定理2.12 设A为n阶方阵，则存在n阶可逆矩阵T使得
$$A=TJ{T}^{-1}$$J=diag（J_n1（λ_i），…，J_nk（λ_k）），n1+…+nk=n
该分解为A的Jordan分解，J为Jordan标准型，T为变换矩阵。

J的对角元素为A的特征值。

Jordan标准型是一个块对角矩阵，其对角元便为矩阵J的特征值。
特征值的代数重复度就是J中该特征值的Jordan块阶数的和，几何重复度为该特征值的Jordan块个数。
定理2.13 设A为n阶方阵，λ_i为其特征值，则A的Jordan标准型J中以λ_i为特征值、阶数为l的Jordan块的个数为$$r_{l+1}+r_{l-1}-2r_l$$
其中2r_l=rank{λ_iI—A}

定理2.14 （Hamilton-Caylay）设A∈C^n×n,φ（λ）=det（λI-A），则φ（A）=0。

---

2.4矩阵的奇异值分解

2.4.1 矩阵的奇异值分解

定义2.10 设A∈C^m×n,k=min（m，n），Hermite半正定矩阵A^HA的特征值为λ₁≥λ₂≥…≥λ_k≥0，称非负实数
$${\sigma }_i（A）=\surd \lambda i，i=1,2，\dots ，$$
k为矩阵的奇异值。
矩阵的奇异值满足以下性质：
定理2.15 设A、B属于C^m×n，如果存在m阶、n阶酉阵U、V，使得A=UBV^H，则矩阵A、B的奇异值相同。
定理2.16 设A∈C^m×n，且秩rank（A）=r，则存在m阶、n阶酉阵U、V使得
$$\left(\begin{array}{c}\sum 0\\ 00\end{array}\right)$$
其中∑=diag（σ₁σ₂,…，σ_r）,σ_i(i=1,2,…r）为矩阵A的非零奇异值。
推论2.6 设A∈C^m×n，且秩rank（A）=r，则存在m阶、n阶酉阵U、V使得
$$A=U\left(\begin{array}{c}{\sigma }_{1}000\\ 0{\sigma }_{2}00\\ 00...0\\ 000{\sigma }_n\end{array}\right)V^H$$
其中σ_i>0为矩阵A的奇异值。

2.4.2 用矩阵的奇异值分解讨论矩阵的性质

定理2.17 矩阵A的非零奇异值的个数恰为矩阵A的秩。
定理2.18 R（A）=span{u₁,u₂,…,u_r}，N（A）=span{v_r+1,v_r+2,…,v_n}其中R（A）为A的列向量生成的子空间，称为A的值域或像空间，即
R ( A ) = s p a n { a 1 , a 2 , … ， a n } R(A)=span\{a_1,a_2,…，a_n\} R(A)=span{a1​,a2​,…，an​}
A的零空间或核，即N（A）={x|Ax=0}
定理2.19
定理2.20 如果A为Hermite矩阵，则A的奇异值即为A的特征值的绝对值。
定理2.21 如果A为n阶方阵，则|det（A）|= σ₁×σ₂×……×σ_n
定理2.22 秩为r的m×n矩阵A可以表示为r个秩为1的矩阵的和：
                A=σ₁u₁v₁^H+σ₂u₂v₂^H+……+σ_nu_nv_n^H