实对称矩阵一定可以对角化

UTF8gbsn

实对称矩阵一定可以对角化.
最近看共轭梯度下降的时候看到有人的推导里面用到了这个命题. 虽然以前学过,
但是学得很渣, 所以没有自己想过这个命题怎么样成立的.
现在将这些证明过程梳理一下.

实对称矩阵含有n个实根

首先我们来证明一个命题, 实对称矩阵含有n个实根,
注意,n个实根并不一定都是不同的, 可能含有重根.
比如$(r-1{)}^2=0$就含有两个重根$r=1$.在计算根数目的时候这个方程的解算两个.

• 首先, 任意的矩阵$\mathbf{A}$,它的特征多项式
  $$|\mathbf{A}-\lambda \mathbf{I}|=0$$
  是一个$n$次多项式(这是很显然的).
  由于$n$次多项式必定有$n$个根(在复数域上). 这个命题暂不证明,
  直接使用. 我写过另外一篇文章简要的证明了一下这个定理.

• 有了上一步的结论,
  我们现在只需要证明每一个根${\lambda }_i$是实根就可以了.
  这个证明过程很简单. 假设${\lambda }_i$是任意根之一,
  并且${\alpha }_i$(当然也是在复数域),
  那么根据特征值和特征向量的定义.我们可以得
  $$\mathbf{A}{\alpha }_i={\lambda }_i{\alpha }_i$$ 取共轭得
  $$\mathbf{A}{\overline{\alpha }}_i={\overline{\lambda }}_i{\overline{\alpha }}_i$$
  再进行转置得, 注意$A^T=A$, 对称矩阵.
  $${\overline{\alpha }}_i^T\mathbf{A}={\overline{\lambda }}_i{\overline{\alpha }}_i^T$$
  右边乘${\alpha }_i$得
  $${\overline{\alpha }}_i^T\mathbf{A}{\alpha }_i={\overline{\lambda }}_i{\overline{\alpha }}_i^T{\alpha }_i$$

  再看$\mathbf{A}{\alpha }_i={\lambda }_i{\alpha }_i$,
  对它左边乘${\overline{\alpha }}_i^T$可得
  $${\overline{\alpha }}_i^T\mathbf{A}{\alpha }_i={\lambda }_i{\overline{\alpha }}_i^T{\alpha }_i$$

• 上面两个式子相减得
  $$0=({\overline{\lambda }}_{\mathbf{i}}-{\lambda }_{\mathbf{i}}){\overline{\alpha }}_i^T{\alpha }_i$$
  因为,${\overline{\alpha }}_i^T{\alpha }_i$是非0向量.所以我们可得${\overline{\lambda }}_i-{\lambda }_i=0$.
  也就是说${\lambda }_i$是实数.
  又因为${\lambda }_i$是任意的特征值,所以$\mathbf{A}$,
  的所有特征值都是实数.

实对称矩阵属于不同特征值的特征向量正交

接下来我们再来证明一个命题,实对称矩阵属于不同特征值的特征向量正交.我们先假设两个不同的特征值位${\lambda }_i,{\lambda }_j$,
他们对应的特征向量为${\alpha }_i,{\alpha }_j$. 假如,
我们定义$({\alpha }_i,{\alpha }_j)$表示点积.
那么我们可以按照下面的推导.

$${\lambda }_i({\alpha }_i,{\alpha }_j)=({\lambda }_i{\alpha }_i,{\alpha }_j)=({\mathbf{A}\alpha }_i,{\alpha }_j)={\alpha }_{\mathbf{j}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{i}}={\alpha }_{\mathbf{i}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{j}}$$
$${\lambda }_j({\alpha }_i,{\alpha }_j)=({\alpha }_i,{\lambda }_j{\alpha }_j)=({\alpha }_i,{\mathbf{A}\alpha }_j)={\alpha }_{\mathbf{i}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{j}}$$

下相减得$({\lambda }_i-{\lambda }_j)({\alpha }_i,{\alpha }_j)=0$,
又因为${\lambda }_i\ne {\lambda }_j\Rightarrow {\alpha }_i^T\cdot {\alpha }_j=0$,
也就是正交成立.

实对称矩阵可对角化

这里我们使用归纳法来证明.

• 首先假设$n=1$. $\mathbf{A}=a_{11}$. 这个不证自明.

• 假设$n=k-1$, 命题撤成立.

• 现在$n=k$, 我们假设其中一个特征值位${\lambda }_1$,
  那么我可以利用第一个特征值对应的特征向量构造一组$R^n$的正交基.
  $T=({\eta }_1,{\eta }_2,\cdots ,{\eta }_n)$. 那么我们可以得
  $$T^{-1}AT=(T^{-1}{\lambda }_1{\eta }_1,T^{-1}A{\eta }_2,\cdots ,T^{-1}A{\eta }_n)$$
  又因为$T^{-1}T=I$, 那么,
  我们可以得$T^{-1}{\eta }_1={\epsilon }_1$. 那么可得
  $$T^{-1}AT=\left(\begin{array}{cc}{\lambda }_1& \alpha \\ 0& \mathbf{B}\end{array}\right)$$

  由于$A$, 是一个实对称矩阵,
  那么$T^{-1}AT$也是一个实对称矩阵.进而$\alpha =0$.
  由此可见$B$也是一个$(k-1)\times (k-1)$的实对称矩阵. 按照假设,
  它是可以对角化的.现在假设.
  T 2 − 1 B T 2 = d i a g { λ 2 , λ 3 , ⋯   , λ n } T_2^{-1}BT_{2}=diag\{\lambda_2, \lambda_3, \cdots, \lambda_n\} T2−1​BT2​=diag{λ2​,λ3​,⋯,λn​}
  并设 $$T_f=T\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)$$ 那么 $$T_f^{-1}A{T}_f={\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)}^{-1}{T}^{-1}AT\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& T_2^{-1}\end{array}\right)\left(\begin{array}{cc}{\lambda }_1& 0\\ 0& B\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)$$ = ( λ 1 0 0 T 2 − 1 B T 2 ) = d i a g { λ 1 , λ 2 , ⋯   , λ n } =\left( \begin{array}{cc} \lambda_1& 0 \\ 0 & T_2^{-1}BT_{2} \end{array} \right)=diag\{\lambda_1,\lambda_2, \cdots, \lambda_n\} =(λ1​0​0T2−1​BT2​​)=diag{λ1​,λ2​,⋯,λn​}

至此, 原式得证. 也就是说实对称矩阵一定可以对角化.
反过来也说明实对称矩阵的特征多项式的代叔重述等于几何重数.