矩阵手册

• 主元（pivot）就是在矩阵消去过程中，每列的要保留的非零元素，用它可以把该列其他消去（非零）；在阶梯型矩阵中，主元就是每个非零行第一个非零元素就是主元。

1. 左乘/右乘一个对角矩阵

• （1）矩阵 $A$ 左乘一个对角矩阵 $D$，是分别用 $D$ 的对角线元素分别作用于矩阵 $A$ 的每一行；

• （2）相似地，矩阵 $A$ 右乘一个对角矩阵 $D$，是分别将 $D$ 的对角线元素分别作用于矩阵 $A$ 的每一列

2. 对角阵作用于一个向量

$$y=Dx$$

一个对角阵作用于一个向量，效果等价于矩阵对角线上的元素（作为因子factor）分别乘以向量中的每一个位置上的元素。

% matlab
D*x
diag(D).*x
                % 两者等价

3. Projection Matrix （投影矩阵）

$$P=A(A^TA)^{-1}A^T$$

投影矩阵有两个重要性质：

• 对称，$P^T=P$
• 幂等，$P^2=P$

两个推论：

• 如果向量 $b$ 在 $A$的列空间（$R(A)=\{Ax|x\in\mathbb{R}^n\}$）中，则 $Pb=b$

$$\begin{split} Pb=&PAx=A(A^TA)^{-1}A^TAx\\ =&Ax=b \end{split}$$

• 如果 $b\perp R(A)$，则 $Pb=0$

$$Pb+e=b\quad\Rightarrow\quad e=(I-P)b$$

$I-P$ 也是投影矩阵，自然也满足投影矩阵的性质：

• 对称
• 幂等

4. 矩阵行和列的意义

$x_n$表示特征向量，是一个列向量（column vector），$X$是特征向量组成的样本矩阵，每一列表示一个样本（一次观测值，observation）。

$$\sum_nx_nx_n^T=XX^T$$
也即（整个和式可用内积表示）：

$$\begin{equation} \begin{pmatrix} x_1,&x_2,&\ldots,x_N \end{pmatrix}\cdot \begin{pmatrix} x_1^T\\ x_2^T\\ \vdots\\ x_N^T \end{pmatrix}=XX^T \end{equation}$$
更常见的情况是 $X$的每一行表示一个样本，所以上式可以转换为：
$$\begin{equation}\sum_nx_n^Tx_n= \begin{pmatrix} x_1^T,&x_2^T,&\ldots,x_N^T \end{pmatrix}\cdot \begin{pmatrix} x_1\\ x_2\\ \vdots\\ x_N \end{pmatrix}=X^TX \end{equation}$$

5. 实对称矩阵

实对称矩阵（$A^T=A$）的优良性质（它可以正交相似于一个实对角阵）：

1. 设$A$是一个n阶实对称矩阵，$\alpha, \beta$是任意的n维实向量，那么：

   $$(A\alpha, \beta)=(\alpha, A\beta)$$
   $(\cdot)$表示内积。

2. 实对称矩阵的特征值都是实数

   证明如下：
   

   $$\begin{split} &Ax=\lambda x\\ &x^HA^H=\bar{\lambda}x^H\\ &x^HA^Hx=\bar{\lambda}x^Hx\\ &x^HAx=\bar{\lambda}x^Hx\\ &x^H\lambda x=\bar{\lambda}x^Hx\\ &\lambda \|x\|^2=\bar{\lambda}\|x\|^2\\ &\lambda=\bar{\lambda} \end{split}$$

3. 实对称矩阵的属于不同特征值的特征向量一定正交。

$$\begin{split} &Ax_1=\lambda_1x_1,\quad Ax_2=\lambda_2x_2\\ &\lambda_1x_1^H=x_1^HA^H\\ &\lambda_1x_1^Hx_2=x_1^HA^Hx_2\\ &\lambda_1x_1^Hx_2=x_1^HAx_2\\ &\lambda_1x_1^Hx_2=\lambda_2x_1^Hx_2\\ &x_1^Hx_2=0 \end{split}$$

6. 实对称矩阵的特征值分解（eigen-decomposition）

常见的实对称矩阵：1. 标准化的协方差矩阵$C=X^TX$

$$A=Q\Lambda Q^T$$
其中，特征值为实数，选择特征向量以使彼此标准正交，其中 $Q$是一个正交矩阵，也即$QQ^T=Q^TQ=I$， $\Lambda$是由 $A$的特征值组成的对角矩阵。

考虑这样一种情况，已知$W_{d\times \tilde{d}}$，对由 $WW^T$构成的对称方阵进行分解时，

$$WW^T=V\Gamma V^T$$

注意特征值构成的对角矩阵$\Gamma$不超过$\tilde{d}$个非零元。也即$WW^T$非零特征值的个数不超过$\tilde{d}$个。