[笔记][总结] MIT线性代数 Gilbert Strang 矩阵运算

作者水平有限，欢迎大家提出文中错误

本文主要讨论除加法和数乘之外的矩阵常用运算

转置

$$A_{ij}=A_{ji}^T$$

转置的性质

1. $(A^T{)}^{-1}$=$(A^{-1}{)}^T$
2. 对于任意矩阵$R$，$R^{T}R$是对称矩阵

求逆

使用高斯消元法求解逆矩阵

通过高斯消元法，可以将可逆矩阵化为单位矩阵，但是此时左乘的矩阵不仅仅是消元矩阵，而是涉及到所有初等行变换。如果将合作用依然写作$E$
那么有
$$EA=I$$
则
$$E=A^{-1}$$
如果同时对矩阵$A$和单位阵$I$做初等行变换，则可以构造增广矩阵$[A|I]$
$$E[A|I]=[I|A^{-1}]$$

矩阵逆的代数表达式

这里会用到本部分后面的内容
$$A^{-1}=\frac{1}{detA}{C}^T$$
矩阵$C$被称为代数余子式矩阵
$$C=\left[\begin{array}{cccc}{A}_{11}& A_{12}& \cdots & A_{1n}\\ A_{21}& A_{22}& \cdots & A_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ A_{n1}& A_{n2}& \cdots & A_{nn}\end{array}\right]$$
而$C^T$称为伴随矩阵

证明：
$$A{C}^T=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]$$
得到
$$(A{C}^T{)}_{ij}=a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}$$
注意到$i=j$时，$(A{C}^T{)}_{ii}=detA$
对于其他项，考虑其意义，是矩阵$A$某一行的元素，乘以一个不同行对应的代数余子式，如果将矩阵的第$j$行用第$i$行进行代替，其行列式的值正是上式
$$\left|\begin{array}{cccccc}{a}_{11}& a_{12}& & \cdots & & a_{1n}\\ ⋮& ⋮& & & & ⋮\\ a_{i1}& a_{i2}& & \cdots & & a_{in}\\ ⋮& ⋮& & & & ⋮\\ a_{j1}& a_{j2}& & \cdots & & a_{jn}\\ ⋮& ⋮& & & & ⋮\\ a_{n1}& a_{n2}& & \cdots & & a_{nn}\end{array}\right|\to \left|\begin{array}{cccccc}{a}_{11}& a_{12}& & \cdots & & a_{1n}\\ ⋮& ⋮& & & & ⋮\\ a_{i1}& a_{i2}& & \cdots & & a_{in}\\ ⋮& ⋮& & & & ⋮\\ a_{i1}& a_{i2}& & \cdots & & a_{in}\\ ⋮& ⋮& & & & ⋮\\ a_{n1}& a_{n2}& & \cdots & & a_{nn}\end{array}\right]$$
所以$i\ne j$时，$(A{C}^T{)}_{ij}=0$
所以$A{C}^T=detA\cdot I$，证毕

这样的公式对实际中矩阵逆的求解没有什么价值，因为时间复杂度太高，但是它提供了逆矩阵的代数表达式

$Crame{r}^{\prime }srule$

上一小节知道了矩阵逆的代数表达式，现在考虑矩阵方程$Ax=b$，可知
$$x=\frac{1}{detA}{C}^{T}b$$
考虑$x$的其中一项
$$detA\cdot x_i=b_1{C}_{1i}+b_2{C}_{2i}+\cdots +b_n{C}_{ni}$$
构造矩阵$B_i$
$$B_i=\left[\begin{array}{ccccc}{a}_{11}& \cdots & b_1& \cdots & a_{1n}\\ a_{21}& \cdots & b_2& \cdots & a_{2n}\\ ⋮& & ⋮& & ⋮\\ a_{n1}& \cdots & b_n& \cdots & a_{nn}\end{array}\right]$$
矩阵$A$用列向量$b$替换了第$i$列，形成了矩阵$B_i$，所以
$$detA\cdot x_i=det{B}_i$$
克拉默法则
矩阵方程$Ax=b$若是有解且唯一的，那么其解为
$$x_i=\frac{det{B}_i}{detA}$$

方阵逆矩阵的性质

如果$A$是可逆矩阵，$A{A}^{-1}=A^{-1}A=I$

矩阵乘法

矩阵乘法的五种形式

1. 行列内积

$$C_{m\ast n}=A_{m\ast p}{B}_{p\ast n}$$
则
$$c_{ij}=rowi(A)\cdot columnj(A)$$

2. 矩阵与列向量之积

$$columni(C)=Acolumni(B)$$

3. 行向量和矩阵之积

$$rowi(C)=rowiA\cdot B$$

4. 若干秩1矩阵之和

$$C=\sum _{i=1}^p\left[\begin{array}{c}{a}_{1i}\\ a_{2i}\\ ⋮\\ a_{mi}\end{array}\right]\left[\begin{array}{cccc}{b}_{i1}& b_{i2}& \cdots & b_{in}\end{array}\right]$$
比如
$$\left[\begin{array}{cc}2& 7\\ 3& 8\\ 4& 9\end{array}\right]\left[\begin{array}{cc}1& 6\\ 0& 0\end{array}\right]=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right]\left[\begin{array}{cc}1& 6\end{array}\right]3.\left[\begin{array}{c}7\\ 8\\ 9\end{array}\right]\left[\begin{array}{cc}0& 0\end{array}\right]$$

5. 分块乘法

$$\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]\left[\begin{array}{cc}{B}_{11}& B_{12}\\ B_{21}& B_{22}\end{array}\right]=\left[\begin{array}{cc}{A}_{11}{B}_{11}+A_{12}{B}_{21}& A_{11}{B}_{12}+A_{12}{B}_{22}\\ A_{21}{B}_{11}+A_{22}{B}_{21}& A_{21}{B}_{12}+A_{22}{B}_{22}\end{array}\right]$$
分块必须匹配

矩阵乘法的性质

$(AB{)}^{-1}=B^{-1}{A}^{-1}$

行列式

行列式的性质

1.$detI=1$
2.行交换或列交换，会使行列式值取反

结合性质1，2可知$det{P}_{ij}=-1$（单次交换）
3.
$$\left|\begin{array}{cc}ta& tb\\ c& d\end{array}\right|=t\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$$
$$detkA=k^{n}detA$$
4.

$$\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$$

结合性质3，4可知$det\cdot$是对矩阵某一行或一列的线性算子
5.矩阵中出现两个相等的行或列，会使行列式为0
6.消去操作（从某一行加上零一行的k倍）不影响行列式的值
$$\left|\begin{array}{cc}a+kc& b+kd\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}kc& kc\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$$
7.全零行（列）会导致行列式为零
8.三角阵的行列式等于对角元之积
9.奇异矩阵行列式为0
10.$detAB=detA\cdot detB$
11.$det{A}^{-1}=(detA{)}^{-1}$
12.$detA=det{A}^T$

行列式的计算方法

行列式的定义式

接下来，利用上面的性质1，2，3，可以得到行列式的计算方法
以二阶方阵为例
$$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& 0\\ c& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& d\end{array}\right|=$$

$$\left|\begin{array}{cc}a& 0\\ c& 0\end{array}\right|+\left|\begin{array}{cc}a& 0\\ 0& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& 0\end{array}\right|+\left|\begin{array}{cc}0& b\\ 0& d\end{array}\right|=ad-bc$$
可见，对于n阶方阵，依次分解第一行，第二行……第$n$行，共得到$n^n$项，其中只要有某项的一列或一行全为零，则此项为0，所有非零项的种类数问题，变成了一个排列组合问题，相当于对$1\cdots n$进行全排列，项总数为$n!$，留下的项不仅没有空行空列，而且每行或每列都只有一个元素，都可以使用多次置换矩阵$P$左乘对角阵得到。

而这$n!$个项的值又是什么，每一项都等于置换矩阵和某对角阵的乘积，这个对角阵的行列式就是这个项的所有非零元素之积

对于符号，已经知道，一次置换就会使行列式符号相反，这个总的置换矩阵$P$，假设非零项分别为$p_{1a_1}{p}_{2a_2}...p_{n{a}_n}$， { a 1   a 2 ⋯   a n } \{a_1\ a_2\cdots\ a_n\} {a1​ a2​⋯ an​}是$1,2\cdots n$的一种排列

所以，置换矩阵$P$的行列式值是$+1$还是$-1$，就取决于 { 1   2 ⋯ n } \{1\ 2\cdots n\} {1 2⋯n}要经过多少次置换才能达到 { a 1   a 2 ⋯   a n } \{a_1\ a_2\cdots\ a_n\} {a1​ a2​⋯ an​}，是偶数次还是奇数次。

考虑这个问题，需要先介绍逆序数的概念，在序列 { a 1   a 2 ⋯   a n } \{a_1\ a_2\cdots\ a_n\} {a1​ a2​⋯ an​}中，所有的二元对$(a_i,a_j)$都有两种情况，假设$i<j$，一种是$a_i>a_j$，另一种是$a_i<a_j$（注意$a_i=a_j$是不可能的，因为 { a 1   a 2 ⋯   a n } \{a_1\ a_2\cdots\ a_n\} {a1​ a2​⋯ an​}是$1,2\cdots n$的一种排列），而逆序数就是所有$a_i>a_j$情况的总数，记作$\tau (a_1{a}_2...a_n)$，显然$\tau (12\cdots n)=0$

置换操作会如何影响逆序数？
{ a 1   a 2 ⋯ a i ⋯ a j ⋯   a n } → { a 1   a 2 ⋯ a j ⋯ a i ⋯   a n } \{a_1\ a_2\cdots a_i\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_j\cdots a_i\cdots\ a_n\} {a1​ a2​⋯ai​⋯aj​⋯ an​}→{a1​ a2​⋯aj​⋯ai​⋯ an​}

这里要证明一次置换会导致逆序数的奇偶性发生改变，为了避免对序列其他部分的影响，通过相邻元素的置换完成置换
{ a 1   a 2 ⋯ a i   a i + 1 ⋯ a j ⋯   a n } → { a 1   a 2 ⋯ a i + 1   a i ⋯ a j ⋯   a n } } \{a_1\ a_2\cdots a_i\ a_{i+1}\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_{i+1}\ a_i\cdots a_j\cdots\ a_n\}\} {a1​ a2​⋯ai​ ai+1​⋯aj​⋯ an​}→{a1​ a2​⋯ai+1​ ai​⋯aj​⋯ an​}}
这样的一次置换使得序列的逆序数只加$1$或减$1$，奇偶性一定会改变
假设原序列中$a_i$和$a_j$之间有$n$个元素
{ a 1   a 2 ⋯ a i ⋯ a j ⋯   a n } → { a 1   a 2 ⋯ a i + 1 ⋯ a j   a i ⋯   a n } \{a_1\ a_2\cdots a_i\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_{i+1}\cdots a_j\ a_i\cdots\ a_n\} {a1​ a2​⋯ai​⋯aj​⋯ an​}→{a1​ a2​⋯ai+1​⋯aj​ ai​⋯ an​}

需要$n+1$步

{ a 1   a 2 ⋯ a i + 1 ⋯ a j   a i ⋯   a n } → { a 1   a 2 ⋯ a j ⋯   a i ⋯   a n } \{a_1\ a_2\cdots a_{i+1}\cdots a_j\ a_i\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_j\cdots \ a_i\cdots\ a_n\} {a1​ a2​⋯ai+1​⋯aj​ ai​⋯ an​}→{a1​ a2​⋯aj​⋯ ai​⋯ an​}

需要$n$步
总步数是$2n+1$，则不管置换发生在什么位置，逆序数奇偶性一定会改变

那么逆序数的奇偶性就能代表置换次数的奇偶性，这正是所求的，$\tau (12...n)=0$，之后的每次置换都会同步改变$detP$的极性，以及序列逆序数的奇偶性。至此置换矩阵$P$的行列式就已经清晰了
$$detP=(-1{)}^{\tau (p_1{p}_2...p_n)}$$
再次说明，$p_1{p}_2...p_n$是置换矩阵每行非零元所在列数（或每列非零元所在行数）

最后有行列式的定义式
$$det(A_{n\ast n})=\sum _{allofpermutations}(-1{)}^{\tau (p_1{p}_2...p_n)}{a}_{1p_1}{a}_{2p_2}...a_{n{p}_n}$$

$$\tau (p_1{p}_2...p_n)istheinversionnumberofpermutation{p}_1{p}_2...p_n.$$

代数余子式法

在刚才的定义式推导的过程中，所有$n!$项其实可以进行如下划分
{ n !   t e r m s } = \{n!\ terms\}= {n! terms}=
{ ( n − 1 ) !   t e r m s   w i t h   n o n z e r o   a 11 } + \{(n-1)!\ terms\ with\ nonzero\ a_{11}\}+ {(n−1)! terms with nonzero a11​}+
{ ( n − 1 ) !   t e r m s   w i t h   n o n z e r o   a 12 } + \{(n-1)!\ terms\ with\ nonzero\ a_{12}\}+ {(n−1)! terms with nonzero a12​}+
$⋮$
{ ( n − 1 ) !   t e r m s   w i t h   n o n z e r o   a 1 n } \{(n-1)!\ terms\ with\ nonzero\ a_{1n}\} {(n−1)! terms with nonzero a1n​}
而这每一个划分之和，又好像满足一个$n-1$阶行列式的定义式，比如
$$\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& \ast & \ast \\ 0& \ast & \ast \end{array}\right|\left|\begin{array}{ccc}0& a_{12}& 0\\ \ast & 0& \ast \\ \ast & 0& \ast \end{array}\right|\left|\begin{array}{ccc}0& 0& a_{13}\\ \ast & \ast & 0\\ \ast & \ast & 0\end{array}\right|$$
$\ast$是可以非零的位置

所以这个$n$阶的行列式，可以分裂成$n$个$n-1$阶类似行列式的量之和。
注意这里的划分不是唯一的，可以对第一行展开，也可以对任意行展开，甚至可以对任意列展开，不过是何种展开，都能得到这个低一阶的类似行列式的量。
这个类似行列式的量被称为代数余子式，记作$A_{ij}$。
$det(A_{n\ast n})=\sum _{j=1}^n{a}_{ij}{A}_{ij},(i=1,2,...,n)$
或
$det(A_{n\ast n})=\sum _{i=1}^n{a}_{ij}{A}_{ij},(j=1,2,...,n)$

代数余子式

为什么说代数余子式是类似行列式的量，它和行列式差在哪里？
以$3\ast 3$矩阵为例
$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=$$

$$a_{11}(a_{22}{a}_{33}-a_{23}{a}_{32})-a_{12}(a_{21}{a}_{33}-a_{23}{a}_{31})+a_{13}(a_{21}{a}_{32}-a_{22}{a}_{31})$$
从中可以观察出规律$a_{ij}$的代数余子式$A_{ij}=(-1{)}^{i+j}{M}_{ij}$，其中$M_{ij}$是除去$i$行$j$列的元素，组成的子行列式，被称为$a_{ij}$的余子式

所以$3\ast 3$矩阵的代数余子式的极性为
$$\left|\begin{array}{ccc}+& -& +\\ -& +& -\\ +& -& +\end{array}\right|$$

上三角阵对角线元素之积

以上两种方法的时间复杂度都是$O(n!)$，其实根据行列式的倍加不变性质，可以知道$detA=detU$，而高斯消元法的时间复杂度只有$O(n^3)$，所以MATLAB在求解矩阵行列式时，都是先消元然后计算主元之积。
$det(A_{n\ast n})=\prod _{i=1}^{n}pivotelemen{t}_i$

例子

三对角矩阵$A_n$，比如
$$A_4=\left[\begin{array}{cccc}1& 1& & \\ 1& 1& 1& \\ & 1& 1& 1\\ & & 1& 1\end{array}\right]$$
求一下$det{A}_n$通项
可以直接看出$A_1=1,A_2=0,A_3=-1$，从$A_4$开始
$$det{A}_4=\left|\begin{array}{cccc}1& 1& & \\ 1& 1& 1& \\ & 1& 1& 1\\ & & 1& 1\end{array}\right|=$$
$$1\cdot \left|\begin{array}{ccc}1& 1& \\ 1& 1& 1\\ & 1& 1\end{array}\right|+(-1)\cdot \left|\begin{array}{ccc}1& 1& \\ & 1& 1\\ & 1& 1\end{array}\right|=det{A}_3-det{A}_2=-1$$
不难发现$det{A}_n=det{A}_{n-1}-det{A}_{n-2}$
所以 { A n } \{A_n\} {An​}是一个循环的数列，循环部分为
{ 1   0   − 1   − 1   0   1 } \{1\ 0\ -1\ -1\ 0\ 1\} {1 0 −1 −1 0 1}

特征值和特征向量

矩阵$A$的特征向量是在左乘矩阵$A$后，方向不变的向量
$$Ax=\lambda x$$
$\lambda$是特征向量$x$的特征值

根据不可逆矩阵的定义，存在非零向量$x$，满足$Ax=0$，所以如果一个矩阵是奇异的，那么它必有特征值$0$。

例子

有投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$
对于$v\in C(A)$，$Pv=v$，所以所有在$A$列空间（投影到的子空间）的向量都是特征向量，特征值为$1$。
对于$w\in N(A^T)$，$Pw=0$，所以所有与$A$列空间垂直的向量都是特征向量，特征值为$0$。

算法

$$Ax=\lambda x\to [A-\lambda I]x=0$$
可见$x\in N(A-\lambda I)$。
在计算中，常常首先计算$det[A-\lambda I]$，先求出$\lambda s$
对于矩阵
$$A=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]$$
$$A-\lambda I=\left[\begin{array}{cc}3-\lambda & 1\\ 1& 3-\lambda \end{array}\right]$$
$$det[A-\lambda I]=(3-\lambda {)}^2-1=0$$
得到${\lambda }_1=2,{\lambda }_2=4$
分别将${\lambda }_1=2,{\lambda }_2=4$代回方程
$$\left[\begin{array}{cc}3-\lambda & 1\\ 1& 3-\lambda \end{array}\right]$$
${\lambda }_i$对应的特征向量就在这个矩阵的零空间中
${\lambda }_1=2$
$$\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$$
$x_1=[1-1{]}^T$

${\lambda }_2=4$
$$\left[\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right]$$
$x_2=[11{]}^T$

$A-\lambda I$的意义是什么
矩阵
$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$
其特征值为${\lambda }_1=-1,{\lambda }_2=1$，特征向量为$x_1=[1-1{]}^T$，$x_2=[11{]}^T$
对比上边的例子，可以发现$A-\lambda I$并不会影响特征向量，而是将所有特征值减去了$\lambda$

复数特征值

$90°$旋转矩阵
$$Q=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$
$$Q-\lambda I=\left[\begin{array}{cc}-\lambda & -1\\ 1& -\lambda \end{array}\right]$$
$$det[Q-\lambda I]={\lambda }^2+1=0$$
可得${\lambda }_1=-i$，${\lambda }_2=i$
注意特征值是纯虚数，而矩阵是反对称的

虚数意味着某种旋转

重复的特征值

矩阵
$$A=\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right]$$
$$det[A-\lambda I]=(3-\lambda {)}^2-1=0$$
这个矩阵，有两个相等的特征值${\lambda }_1={\lambda }_2=3$，也称特征值$\lambda =3$的代数重度是2。
但是对于这个矩阵的特征向量
$$A-3I=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$$
发现只有一个特征向量$[10{]}^T$
重复的特征值可能会造成特征向量的短缺，但是不是所有有重复特征值的矩阵都会造成特征向量的短缺，对于这样矩阵的重复的特征值，其对应的特征空间维度等于其特征值的代数重度。

特征值的性质

$n\ast n$矩阵有$n$个特征值
特征值之和等于矩阵的迹$(trace)$
特征值之积等于矩阵行列式
复特征值成对出现，互为共轭

对角化和矩阵幂

假设矩阵$A$存在$n$个相互独立的特征向量，构造成特征向量矩阵
$$S=[x_1{x}_2\cdots x_n]$$
将$A$左乘$S$
$$AS=[{\lambda }_1{x}_1{\lambda }_2{x}_2\cdots {\lambda }_n{x}_n]$$
分离特征值和特征向量
$$AS=[x_1{x}_2\cdots x_n]\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]=S\Lambda$$
左乘$S^{-1}$
$$A=S\Lambda S^{-1}$$

对角化的条件

上一小节可以看到，不是所有矩阵都有数量足够的线性无关的特征向量，而可对角化的条件，正是要求$n$阶矩阵有$n$个线性无关的特征向量。（注意这里不要求$A$可逆）

矩阵幂

对角化提供了计算矩阵幂次的简便算法，当然前提是矩阵可对角化$(diagonalizable)$
$$A^n=S\Lambda S^{-1}S\Lambda S^{-1}\cdots S\Lambda S^{-1}=S{\Lambda }^n{S}^{-1}$$
上式说明，$A^n$相比于$A$，特征向量没有变，但是特征值变成${\lambda }^n$

矩阵的稳定性

如果矩阵的所有特征值绝对值都小于1，那么
$$n\to \infty ,A^n\to O$$
称矩阵$A$是稳定的

相似性

如果$\exists M$是可逆矩阵，使得矩阵$A,B$满足，$B=M^{-1}AM$
相似性完成了对同阶方阵的一个划分

再议特征值分解

$$S^{-1}AS=\Lambda$$
可对角化的矩阵，就是相似与某个对角阵的矩阵

相似矩阵的性质

1. 矩阵相似是一种等价关系
   a) 相似矩阵与自身相似
   b) 如果矩阵$A$相似于矩阵$B$，则矩阵$B$相似于矩阵$A$
   c) 如果矩阵$A$相似于矩阵$B$，矩阵$B$相似于矩阵$C$，则矩阵$A$相似于矩阵$C$
2. 若矩阵$A$相似于矩阵$B$，则$A$和$B$有相同的特征值
3. 若矩阵$A$相似于矩阵$B$，则矩阵$f(A)$相似于矩阵$f(B)$，当$A$可逆，矩阵$A^{-1}$相似于矩阵$B^{-1}$

相似矩阵的特征值与特征向量

相似矩阵具有相同的特征值
证明
如果$A$相似于$B$，
$$Bx=\lambda x$$
$$M^{-1}AMx=\lambda x$$
$$AMx=\lambda Mx$$
证毕，同时，可以看出虽然相似矩阵的特征值相等，但是特征向量发生了变化，不过可以发现两个相似的矩阵必有相同数目的线性无关特征向量
但是这是相似矩阵的判据吗？
考虑矩阵
$$\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 3\end{array}\right]$$
先上结论，这个两个矩阵不相似，但是他们具有相同的特征值3，而且代数重度是2，左边矩阵只能找到一个线性无关的特征向量，而右边的矩阵可以找到两个线性无关的特征向量。

其实右边的对角阵，在利用相似性进行的矩阵划分中，他所在的划分只有他一个元素，换言之，对于特征值为$\lambda$，代数重度为$n$，具有$n$个线性无关的特征向量的$n$阶方阵，除自身外无其他矩阵与其相似。

左边的矩阵中，其实在上一节已经知道，它是无法对角化的，当然它与右边的对角阵不相似。但是在它所在的划分中，它是最标准的形式，被称为$Jordanform$（诺尔当标准型）。

$Jordan$标准型

相似的矩阵都可以被表示成同一个$Jordan$标准型

再考虑矩阵
$$\left[\begin{array}{cccc}& 1& & \\ & & 1& \\ & & & \\ & & & \end{array}\right]\left[\begin{array}{cccc}& 1& & \\ & & & \\ & & & 1\\ & & & \end{array}\right]$$
这两个矩阵都有相同的特征值$0$，和相同的代数重度$4$，而且都有两个线性无关的特征向量，但是其实两者并不相似

$Jordan$块

$Jordan$块形如
$$\left[\begin{array}{cccc}{\lambda }_i& 1& & \\ & {\lambda }_i& \ddots & \\ & & \ddots & 1\\ & & & {\lambda }_i\end{array}\right]$$
$Jordan$块只有一个特征向量
上述例子的两个矩阵可以分块为
$$\left[\begin{array}{cc}{J}_{3\ast 3}& O_{3\ast 1}\\ O_{1\ast 3}& J_{1\ast 1}\end{array}\right]\left[\begin{array}{cc}{J}_{2\ast 2}& O_{2\ast 2}\\ O_{2\ast 2}& J_{2\ast 2}\end{array}\right]$$
可见这两个方阵无法得到相同的分块，$Jordan$认为这样的矩阵不相似

$Jordan$定理

每个方阵$A$都相似与一个$Jordan$矩阵
$Jordan$矩阵形如
$$J=\left[\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_i\end{array}\right]$$
$J_{\ast }$是$Jordan$块
而且
$$\#Jordanblocks=\#eigenvectors$$
可对角化的矩阵的$Jordan$矩阵就是对角阵$\Lambda$