《PCA 原理推导》18-4线性变换生成的随机变量y_i的方差 公式解析

本文是将文章《PCA 原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 $18\text{-}4$ 的内容如下：

$$\text{var}(y_i)=a_i^T\Sigma a_i,i=1,2,\dots ,m$$

解释公式 $18\text{-}4$

背景与意义

公式 $18\text{-}4$ 描述了通过线性变换生成的随机变量 $y_i$ 的方差（$\text{var}(y_i)$）。方差是衡量随机变量 $y_i$ 的变异性（信息量）的重要指标。在主成分分析（PCA）中，选择主成分的目标是找到一个方向，使得投影数据的方差最大，因此 $18\text{-}4$ 是PCA理论的关键公式之一。

---

公式符号解析

1. $\text{var}(y_i)$： 表示变换后的随机变量 $y_i$ 的方差，反映了数据 $x$ 在新方向 $a_i$ 上的分布宽度（变异程度）。

2. $\Sigma$： 表示随机向量 $x$ 的协方差矩阵，定义为：
   $$\Sigma =\mathbb{E}[(x-\mu )(x-\mu {)}^T]$$

   它是一个 $m\times m$ 的对称矩阵，包含了 $x$ 的每个分量的方差（对角线元素）以及不同分量之间的协方差（非对角线元素）。

3. $a_i^T\Sigma a_i$：

   • $a_i^T$：是 $a_i$ 的转置，表示权重向量 $a_i$。
   • $\Sigma a_i$：表示将协方差矩阵 $\Sigma$ 与向量 $a_i$ 相乘，结果是一个新向量。
   • $a_i^T\Sigma a_i$：是一个标量，表示 $a_i$ 矢量在协方差矩阵 $\Sigma$ 上的二次型形式，结果是变换后的随机变量 $y_i$ 的方差。

---

公式推导

根据随机变量的线性变换性质，假设 $y_i=a_i^{T}x$，则 $y_i$ 的方差为：

$$\text{var}(y_i)=\text{var}(a_i^{T}x)$$

利用方差的性质（线性变换的方差公式），我们有：
$$\text{var}(a_i^{T}x)=a_i^T\Sigma a_i$$

这里的推导关键是：

1. $\Sigma =\text{cov}(x,x)$ 是 $x$ 的协方差矩阵。
2. $a_i^{T}x$ 的方差由 $a_i$ 和协方差矩阵 $\Sigma$ 决定。

因此，得到公式 $18\text{-}4$。

---

几何意义

公式 $18\text{-}4$ 的核心是描述了随机向量 $x$ 在 $a_i$ 方向上的分布宽度，即投影到主成分方向后的变异性。具体来说：

1. $a_i^T\Sigma a_i$ 表示通过权重向量 $a_i$ 对协方差矩阵 $\Sigma$ 的加权平均，结果是数据在 $a_i$ 方向上的方差。

2. 最大化方差：PCA 的目标是找到一个方向 $a_1$，使得投影方差 $\text{var}(y_1)$ 最大。这对应于优化问题：
   $$\underset{a_1}{\max }{a}_1^T\Sigma a_1\text{subject to }{a}_1^T{a}_1=1$$
   这个约束条件确保了 $a_1$ 是一个单位向量。

3. 二次型的意义：$a_i^T\Sigma a_i$ 是协方差矩阵的一个二次型，表示了数据沿 $a_i$ 方向的“能量”（即方差）。

---

与PCA的关系

在PCA中，公式 $18\text{-}4$ 是核心公式之一，因为它直接定义了主成分的选择原则：

• 我们通过求解协方差矩阵 $\Sigma$ 的特征值和特征向量，找到投影方差最大的方向（即第一主成分 $a_1$ 对应的方向）。
• 协方差矩阵 $\Sigma$ 的特征向量是主成分的方向，而对应的特征值则是沿这些方向的方差。

---

举例说明

假设数据 $x$ 是二维向量，协方差矩阵为：
$$\Sigma =\left[\begin{array}{cc}4& 2\\ 2& 3\end{array}\right]$$

假设我们选取一个方向 $a_1=\left[\begin{array}{c}0.8\\ 0.6\end{array}\right]$，则投影到该方向的方差为：
$$\text{var}(y_1)=a_1^T\Sigma a_1$$

计算过程：

1. 先计算 $\Sigma a_1$：
   $$\Sigma a_1=\left[\begin{array}{cc}4& 2\\ 2& 3\end{array}\right]\left[\begin{array}{c}0.8\\ 0.6\end{array}\right]=\left[\begin{array}{c}(4\cdot 0.8+2\cdot 0.6)\\ (2\cdot 0.8+3\cdot 0.6)\end{array}\right]=\left[\begin{array}{c}4.4\\ 3.4\end{array}\right]$$

2. 再计算 $a_1^T\Sigma a_1$：
   $$a_1^T\Sigma a_1=\left[\begin{array}{cc}0.8& 0.6\end{array}\right]\left[\begin{array}{c}4.4\\ 3.4\end{array}\right]=0.8\cdot 4.4+0.6\cdot 3.4=3.52+2.04=5.56$$

因此，在方向 $a_1$ 上的投影方差为 5.56。

---

公式 $18\text{-}4$ 的作用

1. 衡量方向的方差：公式提供了一种计算随机向量 $x$ 在任意方向 $a_i$ 上的方差的方法。
2. 主成分选择的依据：通过最大化公式 $a_i^T\Sigma a_i$，可以找到方差最大的方向，这就是PCA的核心思想。
3. 优化问题的基础：公式 $18\text{-}4$ 是PCA中优化问题的目标函数（即最大化方差），通过求解特征值和特征向量可以实现这一目标。

---

总结

公式 $18\text{-}4$ 描述了投影方差的计算，它是PCA的核心公式之一。通过这个公式，我们可以计算出任意方向上的投影方差，并根据最大化投影方差的原则找到主成分方向。在实际应用中，这个公式帮助我们提取数据中最重要的信息并实现降维。