矩阵分析 (三) 矩阵的标准形

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

  相似变换是矩阵的一种重要的变换，本章研究矩阵在相似变换下的简化问题，这是矩阵理论的基本问题之一。这种分解简介形式在许多领域中都有重要的作用。

  在开始之前说一下矩阵的一些基本概念，设矩阵$A=(a_{ij}{)}_{n\times n}$，将矩阵$A$的元素$a_{ij}$所在的第$i$行第$j$列划去后，剩余的各元素按原来的排列顺序组成的$n-1$阶矩阵所确定的行列式称为元素$a_{ij}$的余子式，记为$M_{ij}$，称$A_{ij}=(-1{)}^{i+j}{M}_{ij}$为元素$a_{ij}$的代数余子式。

  方阵$A=(a_{ij}{)}_{n\times n}$的各元素的代数余子式$A_{ij}$所构成的如下矩阵$A^{\ast }$：

$$\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & x\\ ⋮& ⋮& & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}$$

  该矩阵$A^{\ast }$称为$A$的伴随矩阵。具有以下性质：$A^{\ast }A=|A|E$。

哈密顿-凯莱定理以及矩阵的最小多项式

  本节讨论特征多项式的性质，并讨论另一种重要的多项式-最小多项式。

哈密顿-凯莱定理

• 定理3.1：(哈密顿-凯莱定理)每个$n$阶矩阵都是它的特征多项式的根，设$A$为$n$阶矩阵，

$$f(\lambda )=|\lambda E-A|$$

$$={\lambda }^n+a_{n-1}{\lambda }^{n-1}+\cdots +a_1\lambda +a_0$$

  则

$$f(A)=A^n+a_{n-1}{A}^{n-1}+\cdots +a_{1}A+a_{0}E=O$$

• 例1 ：设矩阵：

$$A=\left(\begin{array}{ccc}1& 0& 2\\ 0& -1& 1\\ 0& 1& 0\end{array}\right)$$

  试计算：

$$\phi (A)=2A^8-3A^5+A^4+A^2+2E$$

  解 因为多项式为：

$$f(\lambda )=|\lambda E-A|={\lambda }^3-2\lambda +1$$

  再取多项式：

$$\phi (\lambda )=2{\lambda }^8-3{\lambda }^5+{\lambda }^4+{\lambda }^2-4$$

  以$f(\lambda )$去除$\phi (\lambda )$可得余式：

$$r(\lambda )=24{\lambda }^2-37\lambda +10$$

  由哈密顿-凯莱定理，$f(A)=O$，所以：

$$\phi (A)=r(A)=24A^2-37A+10E$$

$$=\left(\begin{array}{ccc}-3& 48& -26\\ 0& 95& -6\\ 0& -61& 34\end{array}\right)$$

最小多项式

  一般地说，若$A$是一个方阵，$\phi (A)$是一个多项式，$\phi (A)=O$，这种多项式叫作矩阵$A$的零化多项式，可见每一个矩阵都有零化多项式，并且零化多项式一定有无穷多个，因为特征多项式乘以任何一个多项式还是零化多项式。

  那有没有一个次数最低的零化多项式呢？

• 定义3.1：设$A\in C^{n\times n}$，在$A$的零化多项式中，次数最低的首项系数为1的多项式，称为矩阵$A$的最小多项式，记作$m(\lambda )$

• 定理3.2：矩阵$A$的任何零化多项式都能被它的最小多项式整除。

• 定理3.3：矩阵$A$的最小多项式唯一。

• 定理3.4 ：矩阵$A$的特征多项式的根一定是最小多项式的根，反过来，最小多项式的根也一定是特征多项式的根。

  设矩阵$A\in C^{n\times n}$的所有特征值为${\lambda }_1,\cdots ,{\lambda }_s$，又$A$的特征多项式为：

$$f(\lambda )=|\lambda E-A|$$

$$=(\lambda -{\lambda }_1{)}^{k_1}(\lambda -{\lambda }_2{)}^{k_2}\cdots (\lambda -{\lambda }_s{)}^{k_s}$$

  则$A$的最小多项式一定具有如下形式：

$$m(\lambda )=(\lambda -{\lambda }_1{)}^{n_1}(\lambda -{\lambda }_2{)}^{n_2}\cdots (\lambda -{\lambda }_s{)}^{n_s}$$

  这里$n_i\le k_i$。

矩阵的相似对角

  把矩阵化为对角形对于解决很多问题都有帮助，如解微分方程组：

$$\begin{array}{l}\frac{\mathrm{d}{x}_1}{\mathrm{d}t}={\lambda }_1{x}_1\\ \frac{\mathrm{d}{x}_2}{\mathrm{d}t}={\lambda }_2{x}_2\end{array}\}$$

  容易解出：

$$x_1=C_1{e}^{{\lambda }_{1}t},x_2=C_2{e}^{{\lambda }_{2}t}$$

  而

$$\{\begin{array}{l}\frac{\mathrm{d}{x}_1}{\mathrm{d}t}=a_{11}{x}_1+a_{12}{x}_2\\ \frac{\mathrm{d}{x}_2}{\mathrm{d}t}=a_{21}{x}_1+a_{22}{x}_2\end{array}$$

  如果能化为上一个计算的形式，就很方便求解。

• 定理3.5：设$A\in C^{n\times n}$,则$A$可以对角化的充要条件是$A$有$n$个线性无关的特征向量。

• 例6：矩阵

$$A=\left(\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ -6& -11& -6\end{array}\right)$$

  是否可以对角化？

  解 因为：

$$f(\lambda )=|\lambda E-A|=(\lambda +1)(\lambda +2)(\lambda +3)$$

  矩阵$A$的特征值为-1，-2，-3。

  由于$A$的三个特征值互不相同，固$A$有三个线性无关的特征向量，$A$可以对角化，进一步可以得到特征向量：

$$P_1=\left(\begin{array}{c}1\\ -1\\ 1\end{array}\right),P_2=\left(\begin{array}{c}1\\ -2\\ 4\end{array}\right),P_3=\left(\begin{array}{c}1\\ -3\\ 9\end{array}\right)$$

$$P=\left(\begin{array}{ccc}1& 1& 1\\ -1& -2& -3\\ 1& 4& 9\end{array}\right),$$

$$P^{-1}AP=\left(\begin{array}{ccc}-1& & \\ & -2& \\ & & -3\end{array}\right)$$

约当标准形

  并不是每个方阵都能够相似于对角矩阵，如果矩阵不能对角化，矩阵总可以通过相似变换化为约当标准形。

• 定义3.2：形如：

$$J_i={\left(\begin{array}{ccccc}{\lambda }_i& & & & \\ 1& {\lambda }_i& & & \\ & & \ddots & & \\ & & & 1& {\lambda }_i\end{array}\right)}_{r_i\times r_i}$$

  的矩阵称为$r_i$阶约当块，由若干个约当块构成的分块对角矩阵：

$$J=\left(\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_s\end{array}\right)$$

  称为约当标准形。

• 定理3.6 :设$A\in C^{n\times n}$，则$A$与一个约当矩阵$J$相似，即存在$P\in C^{n\times n}$使得$P^{-1}AP=J$这个约当矩阵$J$除了约当块的排列次序外由矩阵$A$唯一确定，称$J$为$A$的约当标准形。

求解约当标准形

  下面我们介绍用行列式因子法确定约当标准形的方法：

  设矩阵$A$的元素都是$\lambda$的多项式，则$A$称为$\lambda$矩阵，记作$A(\lambda )$，特殊地，$A\in C^{n\times n}$，$\lambda E-A$是$A$的特征矩阵，这也是$\lambda$矩阵。

  公因式：一个多项式中每一项都含有的相同的因式，叫做这个多项式各项的公因式。

• 定义3.3：$A(\lambda )$中所有非零的$k$阶子式的首项系数为1的最大公因式$D_k(\lambda )$称为$A$的一个$k$级行列式因子。

  由定义$D_n(\lambda )=|\lambda E-A|$，又因为$D_{k-1}(\lambda )$能够整除每一个$k-1$级子式，而每一个$k$级子式可以展开为$k-1$级子式的线性组合，所以$D_{k-1}$能够整除$D_k$，即$D_{k-1}|D_k$。

• 定义3.4：下列$n$个多项式

$$d_1=D_1，d_2=\frac{D_2}{D_1}，\cdots ,d_n=\frac{D_n}{D_{n-1}}$$

  称为$A(\lambda )$的不变因子。把每个次数大于零的不变因子分解为互不相同的一次因子的方幂的乘积，所有这些一次因子的方幂(相同的必须按出现次数计算)称为$A$的初级因子。

• 例9：求下列矩阵的不变因子及初级因子。

$$A=\left(\begin{array}{ccccc}-1& & & & \\ & -2& & & \\ & & 1& & \\ & & & 2& \end{array}\right)$$

1. $f(\lambda )$=$|\lambda E-A|$ = $(\lambda +1)(\lambda +2)(\lambda -1)(\lambda -2)$。

  行列式因子：

$$D_3=D_2=D_1=1,D_4=f(\lambda )$$

  不变因子：

$$d_1=d_2=d_3=1,d_4=f(\lambda )$$

  初级因子：

$$\lambda +1,\lambda +2,\lambda -1,\lambda -2$$

  有了上述概念，就可以求得矩阵$A$的约当标准形。设$A$的全部初级因子是：

$$(\lambda -{\lambda }_1{)}^{k_1}，(\lambda -{\lambda }_2{)}^{k_2},\cdots ,(\lambda -{\lambda }_s{)}^{k_s}$$

  这里${\lambda }_1$，${\lambda }_2$,$\cdots$,${\lambda }_s$可能有相同的，指数$k_1$,$k_2$,$\cdots$,$k_s$也可能有相同的，对每个初级因子$(\lambda -{\lambda }_i{)}^{k_i}$构成一个$k_i$阶约当块：

$$J_i=\left(\begin{array}{cccc}{\lambda }_i& & & \\ 1& {\lambda }_i& & \\ & \ddots & \ddots & \\ & & 1& {\lambda }_i\end{array}\right)(i=1,2,\cdots ,3)$$

  由所有这些约当块构成的分块对角矩阵：

$$J=\left(\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_1\end{array}\right)$$

称为矩阵$A$的约当标准形。

• 定理3.7：每个$n$阶复数矩阵$A$都与一个约当标准形$J$相似，即存在矩阵$P$使得：

$$P^{-1}AP=J$$

  除去约当块的排列次序外，约当形矩阵由矩阵$A$唯一确定。

史密斯标准形

  从上一节可以看到，求出矩阵的行列式因子、不变因子以及初级因子，就可以求出矩阵的约当标准形。而当矩阵阶数比较高时，求它的行列式因子比较麻烦。如果矩阵比较特殊，比方说是对角矩阵，就可以比较方便地求出行列式因子。所以考虑先把矩阵对角化，就可以比较方便地求出行列式因子。所以考虑先把矩阵化为对角形，问题是在把矩阵化为对角形时，矩阵的行列式因子是否改变。

• 定义3.5：下列变换称为矩阵$A$的初等变换：

1. 互换矩阵$A$的任意两行(两列)；
2. 以非零的数$k$乘$A$的某一行(列)；
3. 以多项式$\phi (\lambda )$乘以$A$的某一行(列)加到另一行(列)上。

  可以看出，这三种变换不会改变行列式因子。

• 定义3.6：下面形式的矩阵：

$$A(\lambda )=\left(\begin{array}{cccccccc}{d}_1(\lambda )& & & & & & & \\ & & d_2(\lambda )& & & & & \\ & & & \ddots & & & & \\ & & & & d_r(\lambda )& & & \\ & & & & & 0& & \\ & & & & & & \ddots & \\ & & & & & & & 0\end{array}\right)$$

  称为矩阵$A$的史密斯标准形，其中：

$$d_i|d_{i+1}(i=1,2,\cdots ,r-1)$$

  我们有下面的结论。

• 定理3.8：任何一个非零多项式矩阵$A$都可以经过初等变化为史密斯标准形。

  下面讨论怎么把一个矩阵$A$化为史密斯标准形。假设一个矩阵经过初等变换化为如下形式的标准形：

$$\left(\begin{array}{ccccccc}{d}_1& & & & & & \\ & d_2& & & & & \\ & & \ddots & & & & \\ & & & d_r& & & \\ & & & & d_{r+1}& & \\ & & & & & \ddots & \\ & & & & & & d_n\end{array}\right)$$

  其中$d_i|d_{i+1}$。

  由上面所述，在这个过程中，行列式因子不变，所以变换后的矩阵与原来的矩阵有相同的行列式因子。而这个矩阵的行列式因子很容易得出：

$$D_1=d_1,D_2=d_1{d}_2,\cdots ,D_n=d_1{d}_2\cdots d_n$$

  由此可以得出，对角线上的元素正好是矩阵的不变因子。

  特殊地，左上角的元素为一阶行列式因子，即矩阵的所有元素的公因子。这个公因子可以很容易求出。我们之后就可以利用这个结论求出史密斯标准形。

  现在设矩阵$A(\lambda )$是一个$\lambda$矩阵

  首先通过观察确定左上角第一个元素，如果矩阵中有这一项，就把它挪到左上角上去，如果没有这一项，可以通过初等变换得出这一项。因为它是所有元素的公因子，能够整除所有元素，也一定能够整除它们的组合，所以可以通过初等变换得到。

  左上角的元素得到以后，可以利用初等变换把它所在的行和列的其他元素都消成零，矩阵变成如下形式：

$$\left(\begin{array}{cc}{d}_1& 0\\ 0& B_1(\lambda )\end{array}\right)$$

  这时对于矩阵$B_1$来说，相当于一个新的矩阵，如果把它化成史密斯标准形，则左上角第一个元素仍然是$B_1$的一阶行列式因子，可以用同样的方法求出，在这个过程中，使用的是初等变换，而$d_1$能够整除所有元素，当然能够整除它们的组合，所以$d_1|d_2$，这时矩阵可以通过初等变换化为下面的形式：

$$\left(\begin{array}{ccc}{d}_1& & \\ & d_1& \\ & & B_2(\lambda )\end{array}\right)$$

  重复这个过程，即可得到史密斯标准形：

$$\left(\begin{array}{ccccccc}{d}_1& & & & & & \\ & d_2& & & & & \\ & & \ddots & & & & \\ & & & d_r& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right)$$

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！