主成分分析（PCA）之去相关思路

预备知识

1、$\mathbf{x}\in {\mathbb{R}}^{d\times 1}$为随机变量，$\mathbf{x}=[x^1,x^2,...,x^d{]}^T$，$E[\mathbf{x}]=0$，
协方差：
$$\begin{gathered} Var[\mathbf{x}]=\left[\begin{array}{cccc}cov(x^1,x^1)& cov(x^1,x^2)& ...& cov(x^1,x^d)\\ cov(x^2,x^1)& cov(x^2,x^2)& ...& cov(x^2,x^d)\\ cov(x^d,x^1)& cov(x^d,x^2)& ...& cov(x^d,x^d)\end{array}\right]=E\left[\begin{array}{cccc}{x}^1{x}^1& x^1{x}^2& ...& x^1{x}^d\\ x^2{x}^1& x^2{x}^2& ...& x^2{x}^d\\ x^d{x}^1& x^d{x}^2& ...& x^d{x}^d\end{array}\right]=E[\mathbf{x}{\mathbf{x}}^T] \\ =\frac{1}{n}\sum _{i=1}^n({\mathbf{x}}_i{\mathbf{x}}_i^T)=[{\mathbf{x}}_1,{\mathbf{x}}_2,...{\mathbf{x}}_n][{\mathbf{x}}_1,{\mathbf{x}}_2,...{\mathbf{x}}_n{]}^T=X{X}^T \end{gathered}$$。
2、$\mathbf{c}$为常数，则$Var[\mathbf{x}+\mathbf{c}]=Var[\mathbf{x}]$。
推论：$Var[\mathbf{x}-E[\mathbf{x}]]=Var[\mathbf{x}]$。
3、$\mathbf{z}=W\mathbf{x}$, 则：
$Var[\mathbf{z}]=WVar[\mathbf{x}]W^T$。

问题：

假设存在样本集 { x i } i = 1 n \{\boldsymbol x_i\}_{i=1}^n {xi​}i=1n​，${\mathbf{x}}_i\in {\mathbb{R}}^{d\times 1}$，我们想对 { x i } i = 1 n \{\boldsymbol x_i\}_{i=1}^n {xi​}i=1n​进行降维表示，并保留 { x i } i = 1 n \{\boldsymbol x_i\}_{i=1}^n {xi​}i=1n​的主要信息。

思路：

去相关方法的直观思路，如果存在高度相关的维度，则只取其中一个即可。由于变量$\mathbf{x}$的平移不影响变量$\mathbf{x}$的协方差，因此假设我们已经将 { x i } i = 1 n \{\boldsymbol x_i\}_{i=1}^n {xi​}i=1n​中心化，即所有样本已经减去其均值，则$E[\mathbf{x}]=0$。

但是计算完${\mathbf{x}}_i$的协方差矩阵$Var[\mathbf{x}]=X{X}^T$，可以看到相关性非常复杂，很难判断去掉哪一个维度。可以想象，理想情况下，如果协方差矩阵是对角矩阵，则各个维度都不相关，此时方差比较大的维度包含了更多的信息（变化），然后留下方差大的维度即可。

因此可以考虑旋转坐标系，使得数据在新坐标系下，各个坐标轴变量不相关（几何解释就是，已知一个坐标变量，其它坐标变量完全不可预测，呈随机分布）。因此相当于找一个新的规范正交基，使得数据在新规范正交基上的表示（分解，投影），各个维度之间不相关。
因此可以考虑找到一个可逆变换$W\in {\mathbb{R}}^{d\times d}$（或者说是规范正交基），使得
$$\mathbf{z}=W\mathbf{x}$$
的协方差矩阵$Var[\mathbf{z}]$为对角矩阵。则
$$Var[\mathbf{z}]=WVar[\mathbf{x}]W^T=WX{X}^T{W}^T$$

则现在问题变为是否存在可逆变换$W\in {\mathbb{R}}^{d\times d}$使得$X{X}^T$可以被对角化。

由于$X{X}^T$是对称矩阵，因此一定存在可逆变换$P$使得$X{X}^T$可以被对角化为$\Lambda$($z$的协方差矩阵)[矩阵简明教程，p28]:
$$\Lambda =P^{-1}X{X}^{T}P$$
且$P$为$X{X}^T$的$d$个线性无关特征列向量组成的矩阵。当特征列向量取正交特征向量时有$P^{T}P=I$，$P^{-1}=P^T$。
因此有$\Lambda =P^{T}X{X}^{T}P$
则$W=P^T$。
因此需要求得$X{X}^T$的$d$个特征值，以及对应的$d$个正交特征向量即可得到$W$。

需要注意的是这样的新坐标系或者说基$W$有很多个，其中一个原因是由于基向量的顺序早成的，另外是由于不变子空间基可以任意取造成，还有一个原因是每个基向量，可以被其反方向替代。

而我们只关注信息量比较大的坐标轴或者基向量，也就是找方差比较大的坐标轴来表示原数据。而方差比较小的坐标轴，由于数据在其投影均值为0，因此可以舍弃。这样我们就完成了对原数据的降维近似表示。如果需要进一步压缩，比如用少量的$k$个坐标轴也描述原数据，也就是保留$k$个主成分，则取前$k$大的特征值（方差）对应的正交特征向量（坐标轴，单位基）组成 $P^{\prime }=[{\mathbf{p}}_1,{\mathbf{p}}_2,...,{\mathbf{p}}_k]$。
$W^{\prime }=P^{\prime }T\in {\mathbb{R}}^{k\times d}$。降维后${\mathbf{z}}^{\prime }=W^{\prime }x$。

注意：
从上述过程实际可以看出，PCA过程实际蕴含了$X^T$(或$X$)的奇异值分解过程，$P$就是$X^T$(或$X$)的右(或左)奇异特征向量。
对$X^T$奇异值分解可以得到（任意矩阵（秩大于0）都可以进行奇异值分解）:
$$X^T=UD{V}^T$$
其中$U{U}^T=I\in {\mathbb{R}}^{n\times n}$，$V{V}^T=I\in {\mathbb{R}}^{d\times d}$。假设$(X^T{)}^T{X}^T\in {\mathbb{R}}^{d\times d}$的$d$个特征向量为 { λ 1 ≥ λ 2 ≥ . . . ≥ λ d ≥ 0 } \{\lambda_1\geq \lambda_2\geq ...\geq \lambda_d\geq 0\} {λ1​≥λ2​≥...≥λd​≥0}，则$X^T\in {\mathbb{R}}^{d\times n}$的$d$个奇异值为 { λ 1 ≥ λ 2 ≥ . . . ≥ λ d ≥ 0 } \{\sqrt\lambda_1\geq \sqrt\lambda_2\geq ...\geq \sqrt\lambda_d\geq 0\} {λ ​1​≥λ ​2​≥...≥λ ​d​≥0}，(默认$d<n$，如果$d>n$，则$X^T\in {\mathbb{R}}^{d\times n}$的$n$个奇异值为 { λ 1 ≥ λ 2 ≥ . . . ≥ λ n ≥ 0 } \{\sqrt\lambda_1\geq \sqrt\lambda_2\geq ...\geq \sqrt\lambda_n\geq 0\} {λ ​1​≥λ ​2​≥...≥λ ​n​≥0})。则$\Lambda =Diag({\lambda }_1,{\lambda }_2,...,{\lambda }_d)$，$D=Diag({\sqrt{\lambda }}_1,{\sqrt{\lambda }}_2,...,{\sqrt{\lambda }}_d)。$
且$P=V$。可以看到$$X{X}^T=V{D}^T{U}^{T}UD{V}^T=V{D}^2{V}^T=V\Lambda V^T。$$