实对称矩阵性质的数学证明

在进行实对称矩阵性质的数学证明之前，先证明一些会用到的有用理论。首先先引入复数的共轭概念：

• 假设z是复数(complex number)，z = a + bi，则z的共轭（conjugate of z）则写作$\overline{z} =a\ -bi$，利用复数的运算法则一下5条性质不难证明：
  $$\begin{gathered} \overline{z+w} =\overline{z} +\overline{w}\\ \overline{zw} =\overline{z} *\overline{w}\\ z\overline{z} =a^{2} +b^{2}\\ \overline{\lambda \mathbf{x}} =\overline{\lambda } *\mathbf{\overline{x}}\\ \overline{AB} =\overline{A} *\overline{B} ,A\in C^{m*n} ,B\in C^{n*k} \end{gathered}$$
  其中最后一条性质用矩阵的乘法规则即可证明
  $$\begin{gathered} \overline{AB} =\overline{A\{\mathbf{b_{1} ,\ b_{2} ,\ ...,\ b_{k}}\}} =\left\{\overline{A\mathbf{b_{1}}} ,\ \overline{A\mathbf{b_{2}}} ,\ ...,\ \overline{A\mathbf{b_{k}}}\right\}\\ \overline{A\mathbf{b_{1}}} =\mathbf{\begin{pmatrix} \overline{a_{1}\mathbf{b_{1}}}\\ \overline{a_{2}\mathbf{b_{1}}}\\ ...\\ \overline{a_{m}\mathbf{b_{1}}} \end{pmatrix}}\\ \because \mathbf{\overline{a_{1}\mathbf{b_{1}}}} \ =\ \mathbf{\overline{a_{1}} *\overline{b_{1}}}\\ \therefore \overline{A\mathbf{b_{1}}} =\mathbf{\begin{pmatrix} \overline{a_{1}\mathbf{b_{1}}}\\ \overline{a_{2}\mathbf{b_{1}}}\\ ...\\ \overline{a_{m}\mathbf{b_{1}}} \end{pmatrix}} =\mathbf{\begin{pmatrix} \overline{a_{1}} *\overline{b_{1}}\\ \overline{a_{2}} *\overline{b_{1}}\\ ...\\ \overline{a_{m}} *\overline{b_{1}} \end{pmatrix}} =\overline{A} *\overline{\mathbf{b_{1}}}\\ \\ \therefore \overline{AB} =\overline{A\{\mathbf{b_{1} ,\ b_{2} ,\ ...,\ b_{k}}\}} =\left\{\overline{A\mathbf{b_{1}}} ,\ \overline{A\mathbf{b_{2}}} ,\ ...,\ \overline{A\mathbf{b_{k}}}\right\} =\left\{\overline{A} *\overline{\mathbf{b_{1}}} ,\ \overline{A} *\overline{\mathbf{b_{2}}} ,\ \ ...,\overline{A} *\overline{\mathbf{b}_{k}}\right\} =\overline{A} *\overline{B} \end{gathered}$$

• 定理一：
  A是n*n实矩阵且$\lambda$和$\mathbf{x}$是它的特征值和对应的特征向量，则$\overline{\lambda }$和$\overline{\mathbf{x}}$也是A的特征值和对应的特征向量。

  证明：
  

  $$\begin{gathered} &\because A是实矩阵\\ &\therefore A=\overline{A}\\ &且知A\mathbf{x} =\lambda \mathbf{x}\\ &A\overline{\mathbf{x}} \ =\overline{A} *\overline{\mathbf{x}} =\overline{A\mathbf{x}} =\overline{\lambda \mathbf{x}} =\overline{\lambda } *\overline{\mathbf{x}}\\ &得证 \end{gathered}$$

• 定理二
  如果A是n*n的实对称矩阵，则A的所有特征值都为实数。

  证明：

  • 不妨设$A\mathbf{x} =\lambda \mathbf{x}$且$\mathbf{x}$不为0向量， 则由定理一可知$\overline{\mathbf{x}}$也是A的特征向量，且有$A\overline{\mathbf{x}} \ =\overline{\lambda } *\overline{\mathbf{x}}$。我们有如下变换： $$\overline{\mathbf{x}}^{T} A\mathbf{x} =\overline{\mathbf{x}}^{T} \lambda \mathbf{x} =\lambda \overline{\mathbf{x}}^{T}\mathbf{x}\tag{1}$$ 又因为$A\mathbf{x}$是向量，所以$\overline{\mathbf{x}}^{T} A\mathbf{x} \ =\ ( A\mathbf{x})^{T}\overline{\mathbf{x}}$，所以从式（1）可得 $$\lambda \overline{\mathbf{x}}^{T}\mathbf{x} =\overline{\mathbf{x}}^{T} A\mathbf{x} \ =\ ( A\mathbf{x})^{T}\overline{\mathbf{x}} =\mathbf{x}^{T} A^{T}\overline{\mathbf{x}} =\mathbf{x}^{T} A\overline{\mathbf{x}} =\overline{\lambda }\mathbf{x}^{T}\overline{\mathbf{x}}$$ ，因为$\mathbf{x}^{T}\overline{\mathbf{x}} =\overline{\mathbf{x}}^{T}\mathbf{x} \geqslant 0$，所以$\lambda =\overline{\lambda }$，所以所有特征值都为实数。

加一点自己的思考，如果一个矩阵A所有的特征值都为实数，则所有的特征向量也都是实向量，因为通过计算特征向量方式（求解$(A-\lambda I)\mathbf{x} =0$）可以知道，不可能解出复数。

• 相似矩阵
  如果说n*n阶的矩阵A和矩阵B是相似的（similar）,那么存在一个n*n阶的非奇异矩阵（nonsingular）S是的$B=S^{-1} AS$。
  相似矩阵具有相同的特征多项式（characteristic polynomial），所以他们具有相同的特征值。
  

  $$\begin{align*} det\left( S^{-1} AS-\lambda I\right) &=det\left( S^{-1} AS-\lambda S^{-1} S\right)\\ &=det\left( S^{-1}( A-\lambda I) S\right)\\ &=det\left( S^{-1}\right) det( A-\lambda I) det( S)\\ &=det( A-\lambda I) \end{align*}$$

• 定理三
  A是一个n*n的矩阵且它所有的特征值都是实数，则必定存在一个正交矩阵(orthogonal matrix)Q使得如下等式成立：

  $$Q^{T} AQ=T$$ 其中T是一个n*n的上三角矩阵。
  证明：
  用数学归纳法来证明这个定理：

  当A是2*2矩阵的时候，不妨设$A\mathbf{u} =\lambda \mathbf{u}$，使用格莱姆-施密特正交化方法（Gram-Schmit Orthogonalization）可以构建出这样一个正交矩阵$Q=\{\mathbf{u,v}\}$，则：
  

  $$Q^{T} AQ=\begin{pmatrix} u^{T}\\ v^{T} \end{pmatrix} A\begin{pmatrix} u & v \end{pmatrix} =\begin{pmatrix} u^{T}\\ v^{T} \end{pmatrix}\begin{pmatrix} Au & Av \end{pmatrix} =\begin{pmatrix} u^{T} Au & u^{T} Av\\ v^{T} Au & v^{T} Av \end{pmatrix} =\begin{pmatrix} \lambda & u^{T} Av\\ 0 & v^{T} Av \end{pmatrix}$$
  则对2*2矩阵定理三成立

  当A是3*3矩阵的时候，做相同假设，则存在一个正交矩阵$Q=\{\mathbf{u,v, w}\}$, 则：
  

  $$\begin{gathered} B=Q^{T} AQ=\begin{pmatrix} u^{T}\\ v^{T}\\ w^{T} \end{pmatrix} A\begin{pmatrix} u & v & w \end{pmatrix} =\begin{pmatrix} u^{T}\\ v^{T}\\ w^{T} \end{pmatrix}\begin{pmatrix} Au & Av & Aw \end{pmatrix} =\begin{pmatrix} u^{T} Au & u^{T} Av & u^{T} Aw\\ v^{T} Au & v^{T} Av & v^{T} Aw\\ w^{T} Au & w^{T} Av & w^{T} Aw \end{pmatrix}\\ =\begin{pmatrix} \lambda & u^{T} Av & u^{T} Aw\\ 0 & v^{T} Av & v^{T} Aw\\ 0 & w^{T} Av & w^{T} Aw \end{pmatrix} =\begin{pmatrix} \lambda & *\\ 0 & A_{1} \end{pmatrix} ,其中A_{1} =\begin{pmatrix} v^{T} Av & v^{T} Aw\\ w^{T} Av & w^{T} Aw \end{pmatrix}\\ \end{gathered}$$
  又因为 $$det\left( Q^{T} AQ-\beta I\right) =\begin{pmatrix} \lambda -\beta & *\\ 0 & A_{1} -\beta I \end{pmatrix} =( \lambda -\beta ) *det( A_{1} -\beta I)$$
  可以看出$A_{1}$的每一个特征值都是$B$的特征值， 又因为B和A是相似矩阵，所以B与A具有相同的特征值，且A的特征值全是实数，所以$A_{1}$的特征值也全是实数。

  既然$A_{1}$的特征值全是实数且A是2*2矩阵，运用第一步证明则存在一个正交矩阵S，使得$S^{T} AS=T$,构建如下矩阵R：
  

  $$R=\begin{pmatrix} 1 & 0\\ 0 & S \end{pmatrix}$$
  则存在下列性质：
  $$R^{T} R=\begin{pmatrix} 1 & 0\\ 0 & S^{T} \end{pmatrix}\begin{pmatrix} 1 & 0\\ 0 & S \end{pmatrix} =\begin{pmatrix} 1 & 0\\ 0 & S^{T} S \end{pmatrix} =I$$
  则矩阵QR是正交矩阵，因为$( QR)^{T} QR=R^{T} Q^{T} QR=R^{T} R=I$，进一步计算：
  $$( QR)^{T} A( QR) =R^{T} Q^{T} AQR=\begin{pmatrix} 1 & 0\\ 0 & S^{T} \end{pmatrix}\begin{pmatrix} \lambda & *\\ 0 & A_{1} \end{pmatrix}\begin{pmatrix} 1 & 0\\ 0 & S \end{pmatrix} =\begin{pmatrix} 1 & *\\ 0 & S^{T} A_{1} S \end{pmatrix} =\begin{pmatrix} 1 & *\\ 0 & T \end{pmatrix}$$
  则对3*3矩阵定理三得证。

  现在假设定理三对（n-1）*(n-1)阶矩阵成立。
  A是n*n的矩阵，且所有的特征值为实数，不妨设$A\mathbf{u} =\lambda \mathbf{u}$，则利用格莱姆-施密特正交化方法，可以找到这样一组标准正交基，构成矩阵$Q=\{\mathbf{u,v,w,...}\}$，然后有
  

  $$Q^{T} AQ=\begin{pmatrix} \lambda & *\\ 0 & A_{1} \end{pmatrix}$$
  利用之前所提到的特征多项式方法可以证明(n-1)*(n-1)阶的$A_{1}$的特征值全是实数，所以它满足此定理，所以有$S^{T} A_{1} S=T$。存在矩阵P: $$P=\begin{pmatrix} 1 & 0\\ 0 & S \end{pmatrix}$$
  则QP是正交矩阵，继而又有： $$( QP)^{T} A( QP) =P^{T} Q^{T} AQP=\begin{pmatrix} 1 & 0\\ 0 & S^{T} \end{pmatrix}\begin{pmatrix} \lambda & *\\ 0 & A_{1} \end{pmatrix}\begin{pmatrix} 1 & 0\\ 0 & S \end{pmatrix} =\begin{pmatrix} 1 & *\\ 0 & S^{T} A_{1} S \end{pmatrix} =\begin{pmatrix} 1 & *\\ 0 & T \end{pmatrix}$$
  所以定理三对n*n矩阵有效。

上述定理中对矩阵的分解其实是舒尔分解(Schur Decomposition)中的一个特例（仅针对特征向量全是实数的矩阵）。对实对称矩阵的一个重要定理我们要用到它。

• 定理四
  如果矩阵A是实对称矩阵，则必定存在一个正交矩阵Q，使得$Q^{T} AQ=D$，其中D是对角矩阵。
  证明：
  由定理二可知，A特征值全是实数。由定理三可知$Q^{T} AQ=T$，所以：
  $$T^{T} =\left( Q^{T} AQ\right)^{T} =Q^{T} A^{T} Q=Q^{T} AQ=T$$ ，所以T是对角矩阵。

把上述定理做个变形可得$A=QDQ^{T}$，也就解释了为什么实对称矩阵在做特征分解的时候可以分解为一个正交矩阵乘以对角矩阵再乘以正交矩阵的转置，正交矩阵的每一列是一个特征向量，对应对角矩阵中的特征向量。