常见的特殊矩阵及分解（二）

上一篇：常见的特殊矩阵及分解（一）

---

参考：矩阵分析、维基百科、百度百科

---

1、特征分解

（Eigen decomposition），又叫谱分解（Spectral decomposition），是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法.
注意，只有对可对角化矩阵才可以施以特征分解.

A 是一个 $N\times N$ 的方阵，且有 $N$ 个线性无关的特征向量 $q_i(i=1,\dots ,N)$ 。这样，$A$ 可以被分解为
$$\mathbf{A}=\mathbf{Q\Lambda }{\mathbf{Q}}^{-1}$$
其中 $Q$ 是 $N\times N$ 方阵，且其第 $i$ 列为 $A$ 的特征向量 $q_i$。 $\Lambda$ 是对角矩阵，其对角线上的元素为对应的特征值，也即 ${\Lambda }_{ii}={\lambda }_i$.
特征向量 $q_i(i=1,\dots ,N)$一般被单位化（但这不是必须的），未被单位化的特征向量组 $v_i(i=1,\dots ,N)$, 也可以作为 $Q$ 的列向量。这一事实可以这样理解： $Q$ 中向量的长度都被 $Q^{-1}$ 抵消了.
注意，一般特征值分解时，我们会将 $Q$ 单位化，即 $Q$ 会变成正交矩阵（这个过程也叫做正交变换，相似变换一种特殊情况）.

1.2 使用特征分解求矩阵的逆

若矩阵 $A$ 可被特征分解并特征值中不含零，则矩阵 $A$ 为非奇异矩阵，且其逆矩阵可以由下式给出
$${\mathbf{A}}^{-1}=\mathbf{Q}{\mathbf{\Lambda }}^{-1}{\mathbf{Q}}^{-1}$$
如果，$Q$ 单位化过，那么 $Q^{-1}=Q^T$.

1.3 实对称矩阵一定可以对角化

任意的 $N\times N$ 实对称矩阵都有 $N$ 个线性无关的特征向量，并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 $A$ 可被分解成
$$\mathbf{A}=\mathbf{Q\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q\Lambda }{\mathbf{Q}}^T$$

---

2、对角分解

任何一个矩阵一定和约当矩阵相似，即存在可逆矩阵 $P$ 使得 $P^{-1}AP=J$，对于一个实对称矩阵，一定存在可逆矩阵 $P$ 使得 $P^{-1}AP=\Lambda$，对这个结论进行推广，正规矩阵一定可以对角化，即存在酉矩阵 $U$ 使得
$$U^{H}AU=\Lambda$$
其中，$\Lambda$ 的对角线为 $A$ 的特征值.
设 $A$ 是 $n$ 阶正规矩阵，其特征值为 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，则

• $A$ 是厄米特矩阵的充要条件是：$A$ 的特征值全是实数
• $A$ 是反厄米特矩阵的充要条件是：$A$ 的特征值为零或纯虚数
• $A$ 是酉矩阵的充要条件是：$A$ 的每个特征值 ${\lambda }_i$ 的模 $|{\lambda }_i|=1$

---

3、三角分解

当一个矩阵呈三角形时，求逆、求行列式、求解线性方程组等都很方便.
设矩阵$A\in C^{n\times n}$，如果存在下三角矩阵 $L\in C^{n\times n}$ 和上三角矩阵 $R\in C^{n\times n}$，（有时也使用$U$ 表示 $R$），使得
$$A=LR$$
则称 $A$ 可以作三角分解.

1）对于可逆矩阵 $A\in C^{n\times n}$，$A$ 可以做三角分解的充要条件是 $A$ 的所有顺序主子式不为0.
因为矩阵 $A$ 是可逆矩阵，所以分解得到下三角矩阵 $L$ 和 上三角矩阵$R$ 都是可逆的.

2）对于不可逆矩阵$A\in C^{n\times n}$，即如果 $A$ 的前 $r$ 个顺序主子式不为0，即 $A$ 的秩为 $r$，则 $A$ 可以做三角分解.
对 $A_r$ 进行三角分解，得 $A_r=L_r{R}_r$，可以推出
$$A=\left[\begin{array}{cc}{A}_r& A_{12}\\ A_{21}& A_{22}\end{array}\right]=\left[\begin{array}{cc}{L}_r& 0\\ B{L}_r& E_{n-r}\end{array}\right]\left[\begin{array}{cc}{R}_r& L_r^{-1}A12\\ 0& 0\end{array}\right]$$
显然，左三角矩阵是非奇异矩阵（由分块矩阵行列式得），而右三角矩阵是奇异矩阵.

唯一的三角分解
令 $D$ 为对角线都不是0的对角矩阵，则
$$A=LR=(LD)(D^{-1}R)$$
而 $D$ 有无穷多个，所以就有无穷多个分解. 为了得到唯一的三角分解，需要对三角矩阵进行一些限制：
1）Doolittle分解：$L$ 是对角线元素为1的下三角矩阵（单位上三角矩阵），$R$ 为上三角矩阵
2）Crout分解：$L$ 为上三角矩阵，$R$ 是对角线元素为1的下三角矩阵（单位上三角矩阵）
3）LDR分解：$L，D，R$ 分别为单位下三角矩阵、对角矩阵、单位上三角矩阵

3.1 LU分解

对于方矩 $A$， $A$ 的 LU 分解是将它分解成一个下三角矩阵 $L$ 与上三角矩阵 $U$ 的乘积，也就是
$$A=LU$$

并不是每个可逆方阵都有 LU 分解。例如，从下式可知 $a_{11}=l_{11}{u}_{11}$，若 $a_{11}=0$，则 $l_{11}$ 或 $u_{11}$ 等于 0，故 $L$ 或 $U$ 是不可逆矩阵，$A$ 必须也是不可逆矩阵。然而，存在着可逆矩阵 $A$ 满足 $a_{11}=0$，这些 $A$ 就是没有 LU 分解的例子

$$A=\left[\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]=\left[\begin{array}{ccc}{l}_{11}& 0& 0\\ l_{21}& l_{22}& 0\\ l_{31}& l_{32}& l_{33}\end{array}\right]\left[\begin{array}{ccc}{u}_{11}& u_{12}& u_{13}\\ 0& u_{22}& u_{23}\\ 0& 0& u_{33}\end{array}\right]$$
该问题可借由排列 $A$ 的各列顺序来解决，最终会得到一个 $A$ 的 PLU 分解.

PLU 分解
方阵 A 的 PLU 分解是将它分解成一个置换矩阵 $P$、一个下三角矩阵 $L$ 与上三角矩阵 $U$ 的乘积，也就是
$$A=PLU$$
所有的方阵都可以写成 PLU 分解的形式，由于左乘排列矩阵 $P^{-1}$是在交换列的顺序，所以由 $P^{-1}A=LU$ 推得适当的交换 $A$ 的行的顺序，即可将 $A$ 做 LU 分解

LU分解的应用

• 用于计算行列式，|A|=|L||R|
• 求解线性方程组，使用替代法求解
• 求逆矩阵

3.2 Cholesky分解

如果 $A\in C^{n\times n}$ 是正定的厄米特矩阵，则存在下三角矩阵 $G$ 使得
$$A=G{G}^H$$
此时的 $G$ 矩阵是一个下三角矩阵且所有对角元素均为正实数
当矩阵 $A$ 是一个半正定的Hermite矩阵，若允许 $L$ 的对角线元素为零，则 $A$ 也存在上述形式的分解

3.2.1 LDL分解

经典Cholesky分解的一个变形是LDL分解，即
$$\mathbf{A}={\mathbf{LDL}}^{\ast }$$
其中，$\mathbf{L}$ 是一个单位下三角矩阵，$\mathbf{D}$ 是一个对角矩阵，LDL分解与经典Cholesky分解的关系如下：
$$\mathbf{A}={\mathbf{LDL}}^{\ast }={\mathbf{LD}}^{\frac{1}{2}}{\left({\mathbf{D}}^{\frac{1}{2}}\right)}^{\ast }{\mathbf{L}}^{\ast }={\mathbf{LD}}^{\frac{1}{2}}{\left(\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}\right)}^{\ast }$$

LDL变形如果得以有效运行，构造及使用时所需求的空间及计算的复杂性与经典Cholesky分解是相同的，但是可避免提取平方根.

某些不存在Cholesky分解的不定矩阵，也可以运行LDL分解，此时矩阵 $\mathbf{D}$ 中会出现负数元素。因此人们更倾向于使用LDL分解。对于实数矩阵，该种分解的形式可被改写成
$$\mathbf{A}={\mathbf{LDL}}^{\mathrm{T}}$$
此形式通常称为LDLT分解。注意，它与实对称矩阵的特征分解密切相关，因为对于实对称矩阵，存在特征分解 $\mathbf{A}={\mathbf{Q\Lambda Q}}^{\mathbf{T}}$. 区别是$\mathbf{L}$ 是下三角矩阵，而$\mathbf{Q}$ 是正交矩阵.

3.2.2 应用

1）线性方程求解
在求解最小二乘 $Ax=b$ 时，因为 $A$ 是超定矩阵，所以先要转换成正定的厄米特矩阵才能使用Cholesky分解，即 $A^{T}Ax=A^{T}b$. 然后对 $A^{T}A$ 进行经典的Cholesky分解或者LDLT分解（可避免开根运算），最后使用回代的方式求解.

Cholesky分解在求解线性方程组中的效率约两倍于LU分解

2）矩阵求逆
若欲对Hermite矩阵直接求逆，可以通过Cholesky分解，类似求解线性方程组一般求出逆矩阵，这需要 $n^3$次运算（$\frac{1}{2}{n}^3$次乘法运算）.
注意，非Hermite矩阵 $\mathbf{B}$ 也可以通过下例性质求逆，因为其中 ${\mathbf{BB}}^{\ast }$ 总是Hermite矩阵︰
$${\mathbf{B}}^{-1}={\mathbf{B}}^{\ast }{\left({\mathbf{BB}}^{\ast }\right)}^{-1}$$

---

4、QR分解

分解成酉矩阵 $Q$ 和一个上三角矩阵 $R$

---

5、SVD分解

任何一个矩阵（不限方阵）都可以实现SVD分解
参考《矩阵分析》，为什么A=UDV^T中的V每一列对应一个特征值的特征向量（P74）

---

@leatherwang

二零一八年十二月九日

---