主成分分析

1. 背景

在统计分析中，数据之间的变量可能存在相关性，也就是说，数据集中某个样本的特征是一个$m$维的向量，$\mathbf{x}=[x_{d1},x_{d2},...,x_{dm}]$，可能会有这样的情况，其实$x_{d3}$是$x_{d1},x_{d2}$通过某种线性变换得到的。

换句话说就是，我们知道了$x_{d1},x_{d2}$，那么对于$x_{d3}$的预测不是完全随机的，这个时候，用$d$维的空间来表示数据其实是一种浪费，这个时候，我们通过某种手段能够找到一个新的坐标$x_{d{1}^{\prime }},x_{d{2}^{\prime }}$两个坐标，这俩玩意能够很好的表示$x_{d1},x_{d2},x_{d3}$。

于是就从$d$维降到了$d-1$维，这样的表示方法才是最经济实用的，那么，怎么样找到这种经济实用的表示方法呢？这就是今天的主题——PCA。

---

2. PCA简介

PCA全称为principal component analysis，该方法利用正交变换把线性相关的变量表示的观测数据转换为少数几个线性无关表示的数据，线性无关的数据成为主成分。

正交矩阵：${W^i}^T{W}^i=1,i=1,2,...,m$
$m$代表某个样本的特征的维度。

也就是这个意思：要找到这样一个标准正交矩阵$W$，能够使得向量$\mathbf{x}$变成一个去掉了冗余信息的，低维度的向量$\mathbf{z}$，用数学表达式可表示为：
$$\begin{array}{r}\mathbf{z}=\mathbf{W}\mathbf{x}\end{array}$$

---

3. 具体原理

3.1 二维的情况

在线性代数的本质中提到，向量$\mathbf{x}$与${\mathbf{W}}^1$的点积其实就是计算向量$\mathbf{x}$在${\mathbf{W}}^1$上的投影，记为${\mathbf{Z}}_1$。当变换矩阵$\mathbf{W}$们是正交阵的时候，表达最为简单（想一想直角坐标系的表示方法就知道了）

假设在二维空间中数据是这个样子的：

我们在这个空间中任意找一个向量$w^1$就是我们将要降维的手段。假设随便找了两个方向，方向1与方向2，很明显.方向1的方差要小于方向2的方差。

3.1.1 目的

由于$\mathbf{Z}={\mathbf{W}}^1\mathbf{x}$。也就是说，在经过变换之后样本均值的计算公式为：
$$\begin{array}{rl}\bar{\mathbf{Z}}& =\frac{1}{n_{{\mathbf{Z}}_1}}\sum _{{\mathbf{Z}}_1}{\mathbf{W}}^1\mathbf{x}\\ & ={\mathbf{W}}^1\sum _{{\mathbf{Z}}_1}\bar{\mathbf{x}}\end{array}\text{\hspace{1em}(3.1)}$$
我们想要变化之后$\mathbf{z}$的方差的期望尽可能的大，并且为了统一尺度，不妨设置变换矩阵$||{\mathbf{W}}^1||=1$。则有
$$\begin{array}{rl}Var({\mathbf{Z}}_1)& =\underset{{\mathbf{W}}^1}{\mathrm{argmax}}\frac{1}{n_{{\mathbf{Z}}_1}}\sum _{{\mathbf{Z}}_1}({\mathbf{Z}}_1-\bar{\mathbf{Z}}{)}^2\\ & s.t.||{\mathbf{W}}^1||=1\end{array}\text{\hspace{1em}(3.2)}$$

3.1.2 推导过程

因为：
$$\mathbf{Z}={\mathbf{W}}^1\mathbf{x}\text{\hspace{1em}(3.3)}$$

则公式(3.2)可以写成：
$$\begin{array}{rl}Var({\mathbf{Z}}_1)& =\underset{{\mathbf{W}}^1}{\mathrm{argmax}}\frac{1}{n_{{\mathbf{Z}}_1}}\sum _{{\mathbf{Z}}_1}({\mathbf{W}}^1\mathbf{x}-{\mathbf{W}}^1\bar{\mathbf{x}}{)}^2\\ & =\underset{{\mathbf{W}}^1}{\mathrm{argmax}}{{\mathbf{W}}^1}^T\frac{1}{n_{{\mathbf{Z}}_1}}\sum _{{\mathbf{Z}}_1}[(\mathbf{x}-\bar{\mathbf{x}}{)}^2]{\mathbf{W}}^1\\ & =\underset{{\mathbf{W}}^1}{\mathrm{argmax}}{{\mathbf{W}}^1}^T\frac{1}{n_{{\mathbf{Z}}_1}}\sum _{{\mathbf{Z}}_1}[(\mathbf{x}-\bar{\mathbf{x}})(\mathbf{x}-\bar{\mathbf{x}}{)}^T]{\mathbf{W}}^1\end{array}\text{\hspace{1em}(3.4)}$$
由于$\frac{1}{n_{{\mathbf{Z}}_1}}{\sum }_{{\mathbf{Z}}_1}(\mathbf{x}-\bar{\mathbf{x}})(\mathbf{x}-\bar{\mathbf{x}}{)}^T$是向量$\mathbf{x}$的协方差$COV(\mathbf{x})$。

于是，问题可以写成：
$$\begin{array}{rl}& \underset{{\mathbf{W}}^1}{\mathrm{argmax}}{{\mathbf{W}}^1}^{T}COV(\mathbf{x}){\mathbf{W}}^1\\ & s.t.{{\mathbf{W}}^1}^T{\mathbf{W}}^1=1\end{array}\text{\hspace{1em}(3.5)}$$
通过引入拉格朗日算子：
$$L={{\mathbf{W}}^1}^{T}COV(\mathbf{x}){\mathbf{W}}^1+{\alpha }_1({{\mathbf{W}}^1}^T{\mathbf{W}}^1-1)\text{\hspace{1em}(3.6)}$$
使$L$对${\mathbf{W}}^1$求导并令其为0：
考虑到$COV(\mathbf{x})$的性质，所以求导结果为：
得：
$$COV(\mathbf{x}){\mathbf{W}}^1-{\alpha }_1{\mathbf{W}}^1=0$$
所以$\alpha$就是$COV(\mathbf{x})$的一个特征值，${\mathbf{W}}^1$为其特征向量。

很明显，${{\mathbf{W}}^1}^{\mathbf{T}}\mathbf{x}$构成了第一主成分，其方差等于协方差矩阵的最大特征值。

3.2 多维的情况

在一维的情况下继续上述操作，此时限制条件变成了：不仅模长要求为1，还要与${\mathbf{W}}^1$正交，用数学表示：
$$\begin{array}{rl}Var({\mathbf{Z}}_2)& =\underset{{\mathbf{W}}^2}{\mathrm{argmax}}\frac{1}{n_{{\mathbf{Z}}_2}}\sum _{{\mathbf{Z}}_2}({\mathbf{Z}}_2-\bar{\mathbf{Z}}{)}^2\\ & s.t.||{\mathbf{W}}^2||=1,{{\mathbf{W}}^1}^{T}COV(x){\mathbf{W}}^2=0,{{\mathbf{W}}^2}^{T}COV(x){\mathbf{W}}^1=0\end{array}\text{\hspace{1em}(3.7)}$$
因为：
$${{\mathbf{W}}^1}^{T}COV(x){\mathbf{W}}^2={{\mathbf{W}}^2}^{T}COV(x){\mathbf{W}}^1={\alpha }_1{\mathbf{W}}^1{{\mathbf{W}}^2}^T={\alpha }_1{\mathbf{W}}^2{{\mathbf{W}}^1}^T$$
引入拉格朗日算子有：
$$g({\mathbf{W}}^2)={{\mathbf{W}}^2}^{T}COV(\mathbf{x}){\mathbf{W}}^2+{\alpha }_2({{\mathbf{W}}^2}^T{\mathbf{W}}^2-1)+\beta ({{\mathbf{W}}^2}^T{\mathbf{W}}^1)\text{\hspace{1em}(3.8)}$$

最后得到系数向量${\mathbf{W}}^1,{\mathbf{W}}^2,...,{\mathbf{W}}^{\mathbf{m}}$分别是$COV(\mathbf{x})$的第1,2, …m个特征向量，${\alpha }_1,{\alpha }_2,...,{\alpha }_m$分别是其$m$个特征值，且第$k$个主成分的方差等于其第$k$个特征值。

4. 为什么神经网络能够降维？

以$28\times 28$像素的手写数字图片为例，一个数字可以看做由各个部件组成，
各个部件为：

那么目标为：

写成等式为：

上式中$\bar{x}$的值是所有组分的平均。令
$$x-\bar{x}\approx c_1{u}^1+c_2{u}^2+...+c_K{u}^K=\hat{x}$$
那么，我们的目标是找到一个$u^1,u^2,...u^K$使得$||(x-\bar{x})-\hat{x}|{|}_2$最小。并且称这个玩意为：reconstruction error。
$$L=\underset{u^1,u^2,...u^K}{\min }\sum {\Vert \begin{array}{c}(x-\bar{x})-\hat{x}\end{array}\Vert }_2$$

那么，在PCA中，$z=Wx$，则有：
$$\left[\begin{array}{c}{z}_1\\ z_2\\ ...\\ z_K\end{array}\right]=\left[\begin{array}{c}(W_1{)}^T\\ (W_2{)}^T\\ ...\\ (W_K{)}^T\end{array}\right]x$$
为什么能够这么理解呢？

假设$x^i$代表第$i$张图，那么有
$$c_1^1{u}^1+c_2^2{u}^2+...$$

将等式左边使用SVD分解：

那么，用网络的方式可以表示为：$c$是主要成分（PCA中涵盖信息较多的主成分，对应神经网络中的隐藏节点）$w$PCA中的变换矩阵，代表神经网络中的权重（但是不一定像PCA中是垂直的）。

参考来源：

• 李宏毅机器学习-PCA降维篇
• 张学工-模式识别