特征值分解(EVD)

Eigenvalue Decomposite (EVD)

1. Eigenvalues and eigenvectors

1.1 Definition

• 对于矩阵$A$ 以及向量 $\vec{x}$，若存在$\lambda$以及向量$\vec{x}$使得下式成立$$A\vec{x}=\lambda \vec{x}$$
  则称$\lambda$为矩阵$A$的一个特征值，向量$\vec{x}$为与该特征值相对应的特征向量

1.2 How to solve $A\vec{x}=\lambda \vec{x}$

• Rerite is as $(A-\lambda I)\vec{x}=0$
• 因此我们有 $A-\lambda I$ 是一个奇异矩阵(不可逆)
• $|A-\lambda I|=0$，该式称为特征方程(characteristic equation)。解特征方程，即可得到特征值。
• 将特征值代入$A-\lambda I$，求得其null space中的一个向量即为特征向量。

1.3 特征值的性质

• 与矩阵的迹的关系：$trac(A)={\sum }_{i=1}^n{\lambda }_i$
• 与矩阵的行列式的关系：$|A|={\prod }_{i=1}^n{\lambda }_i$
• 如果一个矩阵是上三角阵，则其特征值为对角线上的元素
• 如果一个矩阵是对称矩阵，那么其所有的特征值均是实数，而若一个矩阵是反对称矩阵$(A^T=-A)$，其所有的特征值都是纯虚数

2.Diagonalizing a matrix

• 假定矩阵$A$具有n个independent eigenvector，矩阵$S$为这些特征向量构成的矩阵(每一个特征向量为一列)，那么我们有：$$\begin{array}{rl}AS& =A[\overrightarrow{x_1},\overrightarrow{x_2},\cdots ,\overrightarrow{x_n}]\\ & =[\overrightarrow{x_1},\overrightarrow{x_2},\cdots ,\overrightarrow{x_n}]\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_n\end{array}\right]\\ & =S\Lambda \end{array}$$
  于是我们得到：$A=S\Lambda S^{-1}$
• 若矩阵$A$为对称矩阵，且选择特征向量，使得所有特征向量为正交归一化向量，此时记特征向量构成的矩阵为$Q$，上述对于一般矩阵$A$的对角化式则变为：$$A=Q\Lambda Q^T$$
  其中，由于Q是满秩且每一列均是单位向量，有$Q^{-1}=Q^T$。