线性代数——特征值与特征向量

一、特征值与特征向量
  利用特征值与特征向量，可以把线性变换表达成简单而易于想象的形式。

1.1 特征值与特征向量
  设$\mathbf{A}$是数域$F$上的$n$阶方阵，如果有数$\lambda \in F$及$F$上的$n$维列向量$\mathbf{X}=(x_1,...,x_n{)}^T\ne 0$，使得$$\mathbf{A}\mathbf{X}=\lambda \mathbf{X}$$成立，则称$\lambda$是$\mathbf{A}$的一个特征值，非零向量$\mathbf{X}$为$\mathbf{A}$的述域特征值$\lambda$的特征向量。上述式可以写为$$(\lambda \mathbf{E}-\mathbf{A})\mathbf{X}=0$$由于$\mathbf{X}$为非零向量，那么方程组有解的充要条件是$$|\lambda \mathbf{E}-\mathbf{A}|=0$$这是以$\lambda$为未知数的一元n次方程，称为方阵$\mathbf{A}$的特征方程。$|\lambda \mathbf{E}-\mathbf{A}|$是关于$\lambda$的n次多项式。

  考虑将$|\lambda \mathbf{E}-\mathbf{A}|$按照行列式的定义展开，那么其中一项为对角线元素的乘积${\prod }_{i=1}^n(\lambda -a_{ii})$。而其余各项至多含有$n-2$个主对角线元素，即$\lambda$的次数最多为$n-2$。故${\lambda }^n$与${\lambda }^{n-1}$仅存在于主对角线元素的乘积多项式中，展开得为$$\prod _{i=1}^n(\lambda -a_{ii})={\lambda }^n-\sum _{i=1}^n{a}_{ii}{\lambda }^{n-1}+P_{n-2}(\lambda )$$其中，$P_n(\lambda )$表示最高次数为$n$的$\lambda$的多项式。再考虑在$|\lambda \mathbf{E}-\mathbf{A}|$中，令$\lambda =0$，可以得到该式的常数项为$|-\mathbf{A}|=(-1{)}^n|\mathbf{A}|$，因此有$${\lambda }^n-\sum _{i=1}^n{a}_{ii}{\lambda }^{n-1}+P_{n-2}(\lambda )+(-1{)}^n|\mathbf{A}|=0$$恒成立。根据多项式系数与根的关系，即对于${\sum }_{i=0}^n{a}_{n-i}{x}^i=0$，有$$\begin{gathered} \sum _{i=1}^n{x}_i=-a_1 \\ \prod _{i=1}^n{x}_i=(-1{)}^n{a}_n \end{gathered}$$那么有$$\begin{gathered} \sum _{i=1}^n{\lambda }_i=\sum _{i=1}^n{a}_{ii} \\ \prod _{i=1}^n{\lambda }_i=|\mathbf{A}| \end{gathered}$$即矩阵的特征值之和等于矩阵的迹，矩阵的特征值之积等于矩阵的行列式。

  若$\lambda$是$\mathbf{A}$的特征值，则$P_n(\lambda )$是$P_n(\mathbf{A})$的特征值。考虑$\mathbf{A}\mathbf{X}=\lambda \mathbf{X}$，那么${\mathbf{A}}^n\mathbf{X}=\lambda {\mathbf{A}}^{n-1}\mathbf{X}=...={\lambda }^n\mathbf{X}$。

  设${\lambda }_1,...,{\lambda }_m$是n阶方阵$\mathbf{A}$的m个特征值，${\mathbf{X}}_1,...,{\mathbf{X}}_m$是依次与之对应的特征向量，若${\lambda }_1,...,{\lambda }_m$互不相等，则${\mathbf{X}}_1,...,{\mathbf{X}}_m$线性无关。

1.2 相似矩阵
  设$\mathbf{A}$，$\mathbf{B}$都是n阶方阵，若存在可逆矩阵$\mathbf{T}$，使得$$\mathbf{B}={\mathbf{T}}^{-1}\mathbf{A}\mathbf{T}$$则称矩阵$\mathbf{A}$和$\mathbf{B}$相似，称$\mathbf{A}$到$\mathbf{B}$的变换称为相似变换。

  考虑$\mathbf{A}$和$\mathbf{B}$相似，那么有$\mathbf{B}={\mathbf{T}}^{-1}\mathbf{A}\mathbf{T}$，因此有$$\begin{array}{rl}|\lambda \mathbf{E}-\mathbf{B}|& =|{\mathbf{T}}^{-1}(\lambda \mathbf{E})\mathbf{T}-{\mathbf{T}}^{-1}\mathbf{A}\mathbf{T}|\\ & =|{\mathbf{T}}^{-1}(\lambda \mathbf{E}-\mathbf{A})\mathbf{T}|\\ & =|{\mathbf{T}}^{-1}||\lambda \mathbf{E}-\mathbf{A}||\mathbf{T}|\\ & =|\lambda \mathbf{E}-\mathbf{A}|\end{array}$$即$\mathbf{A}$和$\mathbf{B}$的特征值相同，但反之未必成立。因此，相似矩阵的迹与行列式也相等。
  同样的，如果矩阵与对角矩阵相似，那么对角矩阵的元素就是矩阵的特征值。

1.3 相似对角化
  n阶方阵$\mathbf{A}$与对角矩阵相似的充要条件是$\mathbf{A}$有$n$个线性无关的特征向量，且${\mathbf{T}}^{-1}\mathbf{A}\mathbf{T}=\mathbf{\Lambda }$，$\mathbf{T}$的n个列向量是$\mathbf{A}$的n个线性无关的特征向量，其对应的特征值是$\mathbf{\Lambda }$的主对角线的元素。
  考虑$\mathbf{T}=({\mathbf{T}}_1,...,{\mathbf{T}}_n)$，使得${\mathbf{T}}^{-1}\mathbf{A}\mathbf{T}=\mathbf{\Lambda }$，那么有$\mathbf{A}\mathbf{T}=\mathbf{T}\mathbf{\Lambda }$，而$$\begin{gathered} \mathbf{A}\mathbf{T}=({\mathbf{A}\mathbf{T}}_1,...,{\mathbf{A}\mathbf{T}}_n) \\ \mathbf{T}\mathbf{\Lambda }=({\lambda }_1{\mathbf{T}}_1,...,{\lambda }_n{\mathbf{T}}_n) \end{gathered}$$即${\mathbf{A}\mathbf{T}}_i={\lambda }_i{\mathbf{T}}_i$。因此${\mathbf{T}}_i$是$\mathbf{A}$的线性无关的特征向量。而如果$\mathbf{A}$的特征值互不相等，那么$\mathbf{A}$与对角矩阵相似。

1.4 实对称矩阵
  实对称矩阵是指实数域内的对称矩阵，其对应于不同特征值的特征向量必正交。考虑实对称矩阵$\mathbf{A}$的两个不相等的特征值${\lambda }_1,{\lambda }_2$与对应的特征向量${\mathbf{X}}_1,{\mathbf{X}}_2$，那么有${\mathbf{A}\mathbf{X}}_1={\lambda }_1{\mathbf{X}}_1$，${\mathbf{A}\mathbf{X}}_2={\lambda }_2{\mathbf{X}}_2$。故有$$\begin{array}{rl}{\lambda }_1{\mathbf{X}}_1^T{\mathbf{X}}_2& =({\lambda }_1{\mathbf{X}}_1{)}^T{\mathbf{X}}_2\\ & =({\mathbf{A}\mathbf{X}}_1{)}^T{\mathbf{X}}_2\\ & ={\mathbf{X}}_1^T{\mathbf{A}}^T{\mathbf{X}}_2\\ & ={\mathbf{X}}_1^T(\mathbf{A}{\mathbf{X}}_2)\\ & ={\mathbf{X}}_1^T({\lambda }_2{\mathbf{X}}_2)\\ & ={\lambda }_2{\mathbf{X}}_1^T{\mathbf{X}}_2\end{array}$$即$$({\lambda }_1-{\lambda }_2){\mathbf{X}}_1^T{\mathbf{X}}_2=0$$因此$({\mathbf{X}}_1,{\mathbf{X}}_2)=0$，两特征向量正交。
  考虑实对称矩阵$\mathbf{A}$，则存在正交矩阵$\mathbf{P}$，使得$${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{\Lambda }$$

---

二、二次型
  解析几何是用代数方法研究几何问题的数学分支。通过坐标，就可以将方程与几何图像对应起来。

2.1 二次型及其矩阵
  含有n个变量$x_1,x_2,...,x_n$而系数取自数域$F$的n元二次齐次函数$$\begin{array}{rlrlrlr}f(x_1,x_2,...,x_n)=a_{1}1x_1^2& +2a_{12}{x}_1{x}_2& & +...& & & +2a_{1n}{x}_1{x}_n\\ & +a_{2}2x_2^2& & +...& & & +2a_{2n}{x}_2{x}_n\\ & +...& & & & & \\ & & & & & & +a_{nn}{x}_n^2\end{array}$$称为数域$F$上的n元二次型，简称二次型，可以通过矩阵记作$$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}$$其中，$\mathbf{A}$是对称矩阵，称为二次型$f$的矩阵，其秩称为二次型$f$的秩。

2.2 合同矩阵
  考虑$\mathbf{X}$是${\mathbf{R}}^n$中某一向量的坐标，而在另一坐标下的坐标为$\mathbf{Y}$，则有过渡矩阵$\mathbf{C}$，使得$$\mathbf{Y}={\mathbf{C}}^{-1}\mathbf{X}$$那么二次型$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}$在过渡矩阵$\mathbf{C}$的作用下，有$$f={\mathbf{Y}}^T({\mathbf{C}}^T\mathbf{A}\mathbf{C})\mathbf{Y}$$记$\mathbf{B}={\mathbf{C}}^T\mathbf{A}\mathbf{C}$，显然其是一个对称矩阵。这种关系反映了同一二次型在不同基下对应的矩阵之间的关系。
  设$\mathbf{A}$，$\mathbf{B}$都是n阶方阵，若存在可逆矩阵$\mathbf{C}$，使得$$\mathbf{B}={\mathbf{C}}^T\mathbf{A}\mathbf{C}$$则称矩阵$\mathbf{A}$与$\mathbf{B}$合同。
  显然，实对称矩阵与对角矩阵合同。

2.3 标准形
  给定二次型$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}$，可以寻找适当的可逆线性变换$\mathbf{Y}={\mathbf{C}}^{-1}\mathbf{X}$，使得$$f={\mathbf{Y}}^T\mathbf{\Lambda }\mathbf{Y}$$此时的二次型展开仅有平方项，称为标准型。若$\mathbf{\Lambda }$的元素值取值仅为-1，0和1，那么称该标准型为规范型。

  考虑实对称矩阵$\mathbf{A}$，那么存在正交矩阵$\mathbf{P}$，使得${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{\Lambda }$。考虑$\mathbf{X}=\mathbf{P}\mathbf{Y}$，那么有$$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}={\mathbf{Y}}^T\mathbf{\Lambda }\mathbf{Y}$$ 
2.4 惯性定律
  容易看出，给定二次型$f$，其标准性不是唯一的。但在可逆线性变换下，同一个二次型的标准性中的系数正负性的个数不因变换的改变而改变。设二次型$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}$经过可逆线性变换$\mathbf{X}={\mathbf{C}}_1\mathbf{Y}$与$\mathbf{X}={\mathbf{C}}_2\mathbf{Z}$，得到的标准型为$$\begin{gathered} f=k_1{y}_1^2+k_2{y}_2^2+...+k_n{y}_n^2 \\ f=l_1{z}_1^2+l_2{z}_2^2+...+l_2{y}_2^2 \end{gathered}$$其中系数$k$与$l$中的正数、负数、零值个数相等，称为惯性定律，正数与负数的个数称为正惯性指数与负惯性指数。其反映的几何意义为线性坐标变换不会改变几何图像的形态。

2.5 正定二次型
  设n元二次型$f={\mathbf{X}}^T\mathbf{A}\mathbf{X}$对于${\mathbf{R}}^n$的任何列向量$\mathbf{X}\ne 0$都有${\mathbf{X}}^T\mathbf{A}\mathbf{X}>0$，则称$f$为正定二次型，矩阵$\mathbf{A}$为正定矩阵。狭义的讲，正定矩阵一定是对称矩阵。n元正定二次型的正惯性指数为n。