（五）矩阵

1、方阵的特征值与特征向量

如果满足$Ax=\lambda x$，其中$A$是方阵，$\lambda$是标量值，$x$是向量；则称$\lambda$是方阵的特征值，$x$是方阵的特征向量。$Ax$的集合意义是对向量$x$进行旋转和伸缩变换，如下图

假如

$$A=\begin{bmatrix} 4&1\\ 1&4 \end{bmatrix}$$
对于

$$x_3=\begin{bmatrix} 1\\ 1 \end{bmatrix}$$ ，则有
$$Ax_3=5\begin{bmatrix} 1\\ 1 \end{bmatrix}$$

2、特征分解的性质

对于$Ax_i=\lambda x_i$，如果所有的特征值都不相同，则相应的所有的特征向量线性无关。此时，$A$可以被对角化为

$$A=V\Lambda V^{-1}$$
其中，$V=[x_1,...,x_n]$是一个可逆矩阵；$\Lambda=Diag(\lambda_1,...,\lambda_n)$。

注意：不是所有的方阵都可以对角化，但是对称矩阵可以，而协方差矩阵就是一个对称矩阵。

3、对称矩阵的特征分解

(1)如果一个对称矩阵的特征值不同，则其相应的所有的特征向量正交（即$UU^T=U^TU=I$）

$$A=U\Lambda U^T =\begin{bmatrix} u_1,& ... &,u_n \end{bmatrix}\begin{bmatrix} \lambda_1 & & \\ &\ddots & \\ & &\lambda_n \end{bmatrix}\begin{bmatrix} u_1^T\\ \vdots \\ u_n^T \end{bmatrix} =\sum_{i=1}^{n}\lambda_iu_iu_i^T$$
(2)对称矩阵的特征值是实数
(3)如果 $A\in R^{n\times n}$是一对称矩阵并且矩阵的秩 $rank \: r\leq n$，则有
$$\left | \lambda_1 \right |\geq \left | \lambda_2 \right |\geq ...\geq \left | \lambda_r \right |> \lambda_{r+1}=...=\lambda_{n}=0$$

4、二次型、半正定矩阵和正定矩阵

（1）二次型
给定矩阵$A\in R^{n\times n}$，函数

$$x^TAx=\sum x_ix_ja_{ij}$$
称为二次型。
（2）半正定矩阵
如果对于所有 $x\in R^n$,有 $x^TAx\geq0$,则A为半正定矩阵，此时 $\lambda (A)\geq0$
（3）正定矩阵
如果对于所有 $x\in R^n$, $x\neq 0$,有 $x^TAx>0$,则A为正定矩阵