《推荐系统学习（二）》PCA降维方法的数学推导

前言

PCA降维方法将一组数据看成是一个随机变量生成的，通过将这个随机变量投影到待找的基向量上，这个投影后得到的一维随机向量方差最大。这个待找的基向量方向上，能够将投影后的数据最大程度区分开来。

推导

• 输入：数据集 T = { x 1 , x 2 , . . . , x N } T=\{x_1, x_2, ..., x_N\} T={x1​,x2​,...,xN​}，$x_i\in {\mathbb{R}}^n$；目标维数 $k$
• 输出：降维后的数据集 T = { x 1 , x 2 , . . . , x N } T=\{x_1, x_2, ..., x_N\} T={x1​,x2​,...,xN​}，$x_i\in {\mathbb{R}}^k$

注意，降维前后的点不变，但是表示点的形式可能会发生改变。

设数据集 $T$ 由 $n$ 维随机向量 $\mathbf{X}=({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}{)}^T$ 生成，其中，${\mathbf{x}}_{\mathbf{i}}$ 为一维随机变量。

1. 寻找第一个基向量

设基向量为 ${\alpha }_1\in {\mathbb{R}}^n$，默认为列向量，满足 ${\alpha }_1^T\cdot {\alpha }_1=1$。此时，随机向量 $\mathbf{X}$ 在基向量 ${\alpha }_1$ 上的投影为 ${\alpha }_1^T\cdot \mathbf{X}$，是一个一维随机变量，它的方差为 $$cov({\alpha }_1^T\cdot \mathbf{X},{\alpha }_1^T\cdot \mathbf{X})={\alpha }_1^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1$$

我们的目标是方差最大。因此，我们有如下优化问题
$$\begin{array}{lll}& \underset{{\alpha }_1}{\max }& {\alpha }_1^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1\\ & s.t.& {\alpha }_1^T\cdot {\alpha }_1=1\end{array}$$

利用拉格朗日方法，我们有拉格朗日函数
$$L({\alpha }_1,\lambda )={\alpha }_1^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1+\lambda (1-{\alpha }_1^T\cdot {\alpha }_1)$$

关于 ${\alpha }_1$ 求导，有
$$\frac{\partial L({\alpha }_1,\lambda )}{\partial {\alpha }_1}=cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1-\lambda {\alpha }_1$$

令 $\frac{\partial L({\alpha }_1,\lambda )}{\partial {\alpha }_1}=0$，我们有
$$cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1=\lambda {\alpha }_1$$

注意到，$cov(\mathbf{X},\mathbf{X})$ 是一个协方差矩阵，$\lambda$ 是一个数值。因此，满足上述等式的 $\lambda$ 实际上是协方差矩阵 $cov(\mathbf{X},\mathbf{X})$ 的一个特征值，我们要求的基向量 ${\alpha }_1$ 是对应的特征向量。

因此，我们的目标函数就变成
$${\alpha }_1^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_1={\lambda }_1{\alpha }_1^T\cdot {\alpha }_1={\lambda }_1$$

这就意味着我们要取特征值最大的特征向量作为我们的解。

2. 寻找第二个基向量

设第二个基向量 ${\alpha }_2\in {\mathbb{R}}^n$，满足 ${\alpha }_2^T\cdot {\alpha }_2=1$ 且 ${\alpha }_2^T\cdot {\alpha }_1=0$。第二个等式意味着基向量 ${\alpha }_1$ 和 ${\alpha }_2$ 正交。

这种要求是自然的，因为每一个基向量对应着一个新的特征，我们期望两个特征之间无关。

类似的，我们的目标是让 随机向量 $\mathbf{X}$ 在基向量 ${\alpha }_2$ 上的投影 ${\alpha }_2^T\cdot \mathbf{X}$ 的方差最大，也就是
$$\begin{array}{lll}& \underset{{\alpha }_2}{\max }& cov({\alpha }_2^T\cdot \mathbf{X},{\alpha }_2^T\cdot \mathbf{X})={\alpha }_2^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2\\ & s.t.& {\alpha }_2^T\cdot {\alpha }_2=1\\ & & {\alpha }_2^T\cdot {\alpha }_1=0\end{array}$$

同样通过拉格朗日方法，我们有拉格朗日函数
$$L({\alpha }_2,\lambda ,\mu )={\alpha }_2^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2+\lambda (1-{\alpha }_2^T\cdot {\alpha }_2)+\mu {\alpha }_2^T\cdot {\alpha }_1$$

对 $L({\alpha }_2,\lambda ,\mu )$ 关于 ${\alpha }_2$ 求导，我们有
$$\frac{\partial L({\alpha }_2,\lambda ,\mu )}{\partial {\alpha }_2}=cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2-\lambda {\alpha }_2+\mu {\alpha }_1$$

令 $\frac{\partial L({\alpha }_2,\lambda ,\mu )}{\partial {\alpha }_2}=0$，我们有等式
$$cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2-\lambda {\alpha }_2+\mu {\alpha }_1=0$$

对上式等号两边同时对 ${\alpha }_1^T$ 做内积，等号右边为0，等号左边为
$$\begin{array}{lll}& & {\alpha }_1^T\cdot cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2-\lambda {\alpha }_1^T\cdot {\alpha }_2+\mu {\alpha }_1^T\cdot {\alpha }_1\\ & =& {\lambda }_1{\alpha }_1^T\cdot {\alpha }_2-\lambda {\alpha }_1^T\cdot {\alpha }_2+\mu {\alpha }_1^T\cdot {\alpha }_1\\ & =& 0-0+\mu \\ & =& \mu \end{array}$$

因此，我们有 $$\mu =0$$
代入等式 $cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2-\lambda {\alpha }_2+\mu {\alpha }_1=0$，我们有
$$cov(\mathbf{X},\mathbf{X})\cdot {\alpha }_2=\lambda {\alpha }_2$$

这里，$\lambda$ 与 ${\alpha }_2$ 分别为协方差矩阵 $cov(\mathbf{X},\mathbf{X})$ 的特征值与特征向量，记特征值为 ${\lambda }_2$。

类似的，我们同样可以证明 ${\lambda }_2$ 为第二大的特征值。

3. 寻找其余基向量

与寻找第二个基向量类似，我们可以得到协方差矩阵的特征值从大到小排列，其余基向量便是第三大到第$k$大的特征值所对应的特征向量。

我们在实际计算的时候，可以用样本协方差矩阵代替协方差矩阵。