主成分分析系列（三）为何协方差矩阵的特征值越大对应的特征向量方向的方差越大

由于在文章主成分分析系列（二）为何特征向量是主成分中提到的 数据 D = { x 1 , x 2 , … x n } \mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \} D={x1​,x2​,…xn​} 的scatter矩阵 $\mathbf{S}$矩阵跟协方差( covariance )矩阵 $\Sigma$仅仅相差一个标量系数 $n-1$。下面用协方差矩阵 $\Sigma$进行描述。

1. ${\mathbf{v}}^T\Sigma \mathbf{v}$为什么是投影后数据的方差

数据 D = { x 1 , x 2 , … x n } \mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \} D={x1​,x2​,…xn​}（注意，数据 $\mathbf{D}$已经零-均值化），将
$${\mathbf{x}}_1,{\mathbf{x}}_2,\dots {\mathbf{x}}_{\mathbf{n}}$$ 拼成一个大矩阵 $\mathbf{X}$
$$\mathbf{X}\in {\mathbb{R}}^{n\times d}$$
则协方差矩阵 $\Sigma$= $$\frac{1}{n-1}{\mathbf{X}}^T\mathbf{X}$$

根据简单的线性代数知识，向量 ${\mathbf{x}}_i$ 在单位向量 $\mathbf{v}$上的投影向量是
$${\mathbf{u}}_i=({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}$$
投影后数据在投影方向上的方差是
$$\begin{array}{rl}{\hat{\sigma }}^2& =\frac{1}{n-1}\sum _{i=1}^n||({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}-({\mathbf{v}}^T\bar{\mathbf{x}})\mathbf{v}|{|}_2^2(\bar{\mathbf{x}}:=0)\\ & =\frac{1}{n-1}\sum _{i=1}^n||({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}|{|}_2^2\\ & =\frac{1}{n-1}\sum _{i=1}^n({\mathbf{v}}^T{\mathbf{x}}_i{)}^2\\ & =\frac{1}{n-1}(\mathbf{Xv}{)}^T\mathbf{Xv}\\ & =\frac{1}{n-1}{\mathbf{v}}^T{\mathbf{X}}^T\mathbf{Xv}\\ & ={\mathbf{v}}^T\mathbf{\Sigma v}\end{array}$$

2.为何协方差矩阵的特征值越大对应的特征向量方向的方差越大

由于 $\Sigma$ 是实对称矩阵，所以根据矩阵的 谱分解定理，有：
$$\Sigma =\mathbf{PD}{\mathbf{P}}^T$$
其中 $\mathbf{P}$ 是正交矩阵， $\mathbf{D}$ 是对角矩阵
所以有：
$${\mathbf{v}}^T\Sigma \mathbf{v}={\mathbf{v}}^T\mathbf{PD}{\mathbf{P}}^T\mathbf{v}=\sum _{i=1}^d{\lambda }_i({\mathbf{p}}_i^T\mathbf{v}{)}^2$$
其中，${\mathbf{p}}_i$是矩阵$\mathbf{P}$的第 $i$ 列，根据谱分解定理，也就是 $\Sigma$ 的第 $i$ 个特征向量。${\lambda }_i$ 是矩阵 $\mathbf{D}$ 的对角线上第 $i$ 元素。
我们想要
$$\max \sum _{i=1}^d{\lambda }_i({\mathbf{p}}_i^T\mathbf{v}{)}^2$$
由于 { p i } \{\mathbf{p}_i\} {pi​} 构成一组正交基底，根据正交基底的正交性质与向量内积及$\mathbf{v}$是单位向量决定的（类似于三维坐标系中方向余弦和为1的证明），所以
$$\sum _{i=1}^d({\mathbf{p}}_i^T\mathbf{v}{)}^2=1$$
令 $z_i={\mathbf{p}}_i^T\mathbf{v}$
故考虑上面的优化问题等价于：
$$\text{max }\sum _{i=1}^d{\lambda }_i{z}_i^2,\text{ s.t. }\sum _{i=1}^d{z}_i^2=1.$$
假设
$${\lambda }_1\ge {\lambda }_1\ge \dots {\lambda }_d$$
很明显，我们最好让 $z_1^2=1$， 其余的 $z_i=0$
这意味着
$${\mathbf{p}}_1^T\mathbf{v}=1,\text{ and }{\mathbf{p}}_i^T\mathbf{v}=0\text{ for all }i\ne 1.$$
由于${\mathbf{p}}_1$跟$\mathbf{v}$都是单位向量。根据柯西-施瓦茨不等式中的等号成立的条件，
$${\mathbf{p}}_1^T\mathbf{v}=1⟺\mathbf{v}=c\times {\mathbf{p}}_1$$
所以，具有最高特征值的特征向量使 PCA 的方差最大化。
协方差矩阵的特征值越大对应的特征向量方向的方差越大。

3. 其他视角

• 数据$\mathbf{D}$ 的方差 $\text{Var}(\mathbf{D})$等于: $$\text{Var}(\mathbf{D})=\text{tr}(\Sigma )=\sum _{i=1}^d{\mathbf{\Sigma }}_{ii}$$
  容易知道，协方差矩阵 $\Sigma$可以表示成
  $$\Sigma =\frac{1}{n-1}\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^T$$

根据简单的线性代数知识，向量 ${\mathbf{x}}_i$ 在单位向量 $\mathbf{v}$上的投影向量是
$${\mathbf{u}}_i=({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}$$
针对 ${\mathbf{x}}_i,i=1,\dots ,n$，可以得到相应在$\mathbf{v}$的投影向量${\mathbf{u}}_i$
那么由 ${\mathbf{u}}_{i}i=1,\dots n$ 形成的新的协方差矩阵是:
$${\Sigma }_{pr}=\frac{1}{n-1}\sum _{i=1}^n{\mathbf{u}}_i{\mathbf{u}}_i^T=\frac{1}{n-1}\sum _{i=1}^n({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}(({\mathbf{v}}^T{\mathbf{x}}_i)\mathbf{v}{)}^T=\frac{1}{n-1}\sum _{i=1}^n{\mathbf{v}}^T{\mathbf{x}}_i\mathbf{v}{\mathbf{v}}^T{\mathbf{x}}_i^T\mathbf{v}$$

$$={\mathbf{v}}^T(\frac{1}{n-1}\sum _{i=1}^n{\mathbf{x}}_i\mathbf{v}{\mathbf{v}}^T{\mathbf{x}}_i^T)\mathbf{v}$$
在 板块 2 中已经知道，方差是 $\frac{1}{n-1}{\mathbf{v}}^T{\mathbf{X}}^T\mathbf{Xv}$
所以我们需要证明：
$$\text{trace}({\Sigma }_{pr})=\text{trace}({\mathbf{v}}^T(\frac{1}{n-1}\sum _{i=1}^n{\mathbf{x}}_i\mathbf{v}{\mathbf{v}}^T{\mathbf{x}}_i^T)\mathbf{v})\stackrel{\text{?}}{=}\frac{1}{n-1}{\mathbf{v}}^T{\mathbf{X}}^T\mathbf{Xv}$$
但是这个等号好像不成立，怎么说？

参考

1. Arnab Auddy (https://math.stackexchange.com/users/451712/arnab-auddy), Why eigenvectors with the highest eigenvalues maximize the variance in PCA?, URL (version: 2019-05-02): https://math.stackexchange.com/q/3211640
2. https://qr.ae/py5dFu
3. https://stats.stackexchange.com/questions/518992/first-principal-component-direction
4. https://stats.stackexchange.com/questions/519050/variance-of-projected-data