MIT 18.06 linear algebra 第二十九讲笔记

MIT 18.06 linear algebra 第二十九讲笔记

---

• $A^TA$ is Positive Definite !
• Similar Matrices $A,B\Rightarrow B=M^{-1}AM$
• JORDAN DORM

---

正定矩阵意味着$x^TAx>0$,(除$x=0$)。
前面一直讲正定矩阵，并未说明正定矩阵来源于哪个问题，正定矩阵来自于最小二乘问题。

---

正定矩阵的逆矩阵，也是正定的。，因为逆矩阵的特征值等于原矩阵特征值的倒数，那么逆矩阵的特征值也都大于零，那么逆矩阵是正定的。

如果$A,B$都是正定的，那么$A+B$也是正定的。$x^T(A+B)x=x^TAx+x^TBx>0$,得证。

现在有一个矩阵$A$是$m\times n$的，那么$A^TA$是方阵且为对称阵，$x^TA^TAx=(Ax)^TAx=|||Ax||^2\ge0$,如果要让$A$的零空间只有零向量，那么矩阵的秩必须等于$n$，那么根据前面的知识知道$A^A$是正定矩阵。

根据前面的知识知道$A^TA$可逆，最小二乘才会有最优解。还有就是$A^TA$为正定矩阵。

正定矩阵再消元的时候不需要换行。

---

现在有矩阵$A$和$B$相似。（$A,B$并不要是对称阵），这意味着能找到$M$使得$B=M^{-1}AM$。
前面有$S^{-1}AS=\Lambda$,那么$A$和$B$相似。

相似矩阵有相同的特征值（而且线性无关的特征向量的数目也要一样多）。

$Ax=\lambda x$,$B=M^{-1}AM$,那么证明相似矩阵有相同特征值过程如下。
$AMM^{-1}x=\lambda x$

$M^{-1}AMM^{-1}x=\lambda M^{-1}x$

$BM^{-1}x=\lambda M^{-1}x$,得证。即如果矩阵$A$有一个特征值$\lambda$，那么矩阵$B$也相应有一个。

假设矩阵的特征向量为$x$，那么矩阵$B$的特征值为$M^{-1}x$

---

下面为Bad case,即当$\lambda_1=\lambda_2$时，矩阵有可能无法被对角化。

矩阵$\begin{bmatrix}4&0\\0&4\end{bmatrix}$,这个矩阵之和它自己相似。因为$M^{-1}\begin{bmatrix}4&0\\0&4\end{bmatrix}M=4I$。

矩阵$\begin{bmatrix}4&1\\0&4\end{bmatrix}$,它有一个大的家族和它相似，（注意：这个矩阵是无法对角化的，因为如果它可以被对角化，那么它就相似与$\begin{bmatrix}4&0\\0&4\end{bmatrix}$）。

像这样的矩阵$\begin{bmatrix}4&1\\0&4\end{bmatrix}$,被称之为Jordan form。

$\begin{bmatrix}\color{red}0&\color{red}1&\color{red}0&0\\\color{red}0&\color{red}0&\color{red}1&0\\\color{red}0&\color{red}0&\color{red}0&0\\0&0&0&\color{pink}0\end{bmatrix}$,这个矩阵的特征为4个0，有两个特征向量。

$\begin{bmatrix}\color{red}{0}&\color{red}1&0&0\\\color{red}0&\color{red}0&0&0\\0&0&\color{pink}0&\color{pink}1\\0&0&\color{pink}0&\color{pink}0\end{bmatrix}$，特征值为4个0，有两个特征向量，但是这两个矩阵是不相似。上面矩阵中用不同颜色标出的块，叫做Jordan block。

$J_i$表示$i$阶的jordan block,它只有一个重复的特征值$\lambda_i$,对角线全是$\lambda_i$,下方全是0，上面为1。只有一个特征向量。形如:$J_i=\begin{bmatrix}\lambda_i&1&&\\&\lambda_i&1&&&\\&&\lambda_i&1&\\&&&\ddots&&\\&&&&&\lambda_i\end{bmatrix}$。

每一个方阵$A$相似与某一个Jordan Matrix J=$\begin{bmatrix}J_1&&&\\&J_2&&\\&&\ddots&\\&&&J_d\end{bmatrix}$。其中block的数目等于特征向量的数目#block=# eignevector。

假设矩阵$A$有$n$个不同的特征值，那么它是一个可以对角化的矩阵，它所对应的Jordan 矩阵就是对角阵。