机器学习-白板推导系列笔记（五）-降维

此文章主要是结合哔站shuhuai008大佬的白板推导视频：降维_136min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、背景介绍

（一）为什么需要降维

数据的维度过高容易造成维数灾难（Curse of Dimensionality）。

维数灾难：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。

一个多维空间（以二维为例），则其中图形的体积有如下关系：

$$V_{超立方体}=1$$$$V_{超球体}=K\cdot 0.5^D$$$$\underset{D\to \infty }{\lim }{V}_{超球体}=0$$

上式也就表明当数据的维度过高时，数据主要存在于空间的边边角角的地方，这也就造成了数据的稀疏性。

一个多维空间（以二维圆环为例），则其中图形的体积有如下关系：

$$V_{外}=K\cdot 1^D=K$$$$V_{环形带}=V_{外}-V_{内}=K-K\cdot (1-\epsilon {)}^D$$$$\frac{V_{环形带}}{V_{外}}=\frac{K-K\cdot (1-\epsilon {)}^D}{K}=1-(1-\epsilon {)}^D$$$$\underset{D\to \infty }{\lim }\frac{V_{环形带}}{V_{外}}=\underset{D\to \infty }{\lim }1-(1-\epsilon {)}^D=1$$

可以看到当数据的维度过高时，数据主要存在于球壳上，类似于人的大脑皮层。

（二）降维的方法

降维可以作为一种防止过拟合的方式，其具体的方法包含下列几种：

$$降维\{\begin{array}{c}直接降维（特征选择）\\ 线性降维（PCA、MDS）\\ 非线性降维（流形）\end{array}$$

特征选择是一种直接剔除主观认为不重要的特征的过程。

接下来的部分主要介绍主成分分析（PCA）。

二、样本均值与样本方差

（一）概述

假设有以下数据：

$$x_i\in {\mathbb{R}}^p,i=1,2,\cdots ,N$$$$X=(x_1,x_1,\cdots ,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Np}\end{array}\right)}_{N\times p}$$

（二）样本均值与样本方差

以下定义了数据的样本均值与样本方差：

$$\begin{gathered} SampleMean:{\bar{x}}_{p\times 1}=\frac{1}{N}\sum _{i=1}^N{x}_i \\ SampleCovariance:S_{p\times p}=\frac{1}{N}\sum _{i=1}^N(x_i-\bar{x})(x_i-\bar{x}{)}^T \end{gathered}$$

接下来需要对样本均值与样本方差进行一些变换来获得其另一种表示形式：

规定向量：$I_N={\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\times 1}$
$$\begin{gathered} \bar{x}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}\underset{X^T}{\underbrace{\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\end{array}\right)}}\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)=\frac{1}{N}{X}^T{I}_N \\ S=\frac{1}{N}\sum _{i=1}^N(x_i-\bar{x})(x_i-\bar{x}{)}^T \\ =\frac{1}{N}\left(\begin{array}{cccc}{x}_1-\bar{x}& x_2-\bar{x}& \cdots & x_N-\bar{x}\end{array}\right)\left(\begin{array}{c}(x_1-\bar{x}{)}^T\\ (x_2-\bar{x}{)}^T\\ ⋮\\ (x_N-\bar{x}{)}^T\end{array}\right) \end{gathered}$$
上式中：$$\begin{gathered} \left(\begin{array}{cccc}{x}_1-\bar{x}& x_2-\bar{x}& \cdots & x_N-\bar{x}\end{array}\right) \\ =\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\end{array}\right)-\left(\begin{array}{cccc}\bar{x}& \bar{x}& \cdots & \bar{x}\end{array}\right) \\ =X^T-\bar{x}\left(\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right) \\ =X^T-\bar{x}{1}_N^T \\ =X^T-\frac{1}{N}{X}^T{1}_N{1}_N^T \\ =X^T(I_N-\frac{1}{N}{1}_N{1}_N^T) \end{gathered}$$
则，$$\begin{gathered} S=\frac{1}{N}{X}^T\underset{H}{\underbrace{(I_N-\frac{1}{N}{1}_N{1}_N^T)}}(I_N-\frac{1}{N}{1}_N{1}_N^T{)}^{T}X \\ (H称为中心矩阵，centeringmatrix) \\ =\frac{1}{N}{X}^{T}H{H}^{T}X \end{gathered}$$

其中，中心矩阵$H$具备以下性质：

$①$ $H^T=H$$$H^T=(I_N-\frac{1}{N}{1}_N{1}_N^T{)}^T=I_N-\frac{1}{N}{1}_N{1}_N^T=H$$
$②H^n=H$ $$\begin{gathered} H^2=H\cdot H=(I_N-\frac{1}{N}{1}_N{1}_N^T)(I_N-\frac{1}{N}{1}_N{1}_N^T) \\ =I_N-\frac{2}{N}{1}_N{1}_N^T+\frac{1}{N^2}{1}_N{1}_N^T{1}_N{1}_N^T \\ =I_N-\frac{2}{N}\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)\left(\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right)+\frac{1}{N^2}\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)\left(\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right)\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)\left(\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right) \\ =I_N-\frac{2}{N}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N}+\frac{1}{N^2}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N} \\ =I_N-\frac{2}{N}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N}+\frac{1}{N^2}{\left[\begin{array}{cccc}N& N& \cdots & N\\ N& N& \cdots & N\\ ⋮& ⋮& \ddots & ⋮\\ N& N& \cdots & N\end{array}\right]}_{N\times N} \\ =I_N-\frac{2}{N}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N}+\frac{1}{N}{\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]}_{N\times N} \\ =I_N-\frac{1}{N}{1}_N{1}_N^T=H \end{gathered}$$
则，$$H^n=H$$

因此最终可以得到：

$$\begin{gathered} \bar{x}=\frac{1}{N}{X}^T{1}_N \\ S=\frac{1}{N}{X}^{T}HX \end{gathered}$$

三、主成分分析（PCA）的思想

总结起来就是：
＞一个中心：PCA是对原始特征空间的重构，将原来的线性相关的向量转换成线性无关的向量；
两个基本点：最大投影方差和最小重构距离，这是本质相同的两种方法，在接下来的部分将具体介绍。

PCA首先要将数据中心化（即减去均值）然后投影到一个新的方向上，这个新的方向即为重构的特征空间的坐标轴，同时也要保证投影以后得到的数据的方差最大，即最大投影方差，这样也保证了数据的重构距离最小。

四、最大投影方差

假设投影方向为$u$，由于我们只关注投影的方向，因此将u的模设置为$1$，即$u^{T}u=1$，则中心化后的数据在u方向上的投影为$(x_i-\hat{x}{)}^{T}u$，是一个标量。按照最大投影方差的思想，我们定义损失函数如下：

$$\begin{gathered} J(u)=\frac{1}{N}\sum _{i=1}^N((x_i-\hat{x}{)}^{T}u{)}^2 \\ =\sum _{i=1}^N\frac{1}{N}{u}^T(x_i-\hat{x})(x_i-\hat{x}{)}^{T}u \\ =u^T\underset{S}{\underbrace{[\frac{1}{N}\sum _{i=1}^N(x_i-\hat{x})(x_i-\hat{x}{)}^T]}}u \\ =u^{T}Su \end{gathered}$$

因此该问题就转换为以下最优化问题：

$$\{\begin{array}{c}\hat{u}=\underset{u}{\mathrm{argmax}}{u}^{T}Su\\ s.t.u^{T}u=1\end{array}$$

然后使用拉格朗日乘子法进行求解：

$$\begin{gathered} L(u,\lambda )=u^{T}Su+\lambda (1-u^{T}u) \\ \frac{\partial L}{\partial u}=2Su-2\lambda u=0 \\ S\underset{特征向量}{\underbrace{u}}=\underset{特征值}{\underbrace{\lambda }}u \end{gathered}$$

最后解得符合条件的向量是协方差矩阵$S$的特征向量。如果想要降到$q$维（$q<p$），则只需要将对应特征值最大的前$q$个特征向量取出来作为投影方向然后获得数据在这些方向上的投影即为重构的坐标，即：

$${\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times p}{\left(\begin{array}{cccc}{u}_1& u_2& \cdots & u_q\end{array}\right)}_{p\times q}={\left[\begin{array}{cccc}{x}_1^T{u}_1& x_1^T{u}_2& \cdots & x_1^T{u}_q\\ x_2^T{u}_1& x_2^T{u}_2& \cdots & x_2^T{u}_q\\ ⋮& ⋮& \ddots & ⋮\\ x_N^T{u}_1& x_N^T{u}_2& \cdots & x_N^T{u}_q\end{array}\right]}_{N\times q}$$

特征向量表示投影变换的方向，特征值表示投影变换的强度。通过降维,我们希望减少冗余信息,提高识别的精度,或者希望通过降维算法来寻找数据内部的本质结构特征。找最大的特征值是因为 ，在降维之后要最大化保留数据的内在信息，并期望在所投影的维度上的离散最大。

五、最小重构距离

最小重构距离是另一种求解的方法，其本质上和最大投影方差是相同的。

我们知道有$p$个投影方向符合条件，因此原来的数据可以表示为以下形式，降维的数据也就是舍弃掉第$q+1$到第$p$这几个方向上的信息。

原来的中心化了的数据$:x_i-\bar{x}={\sum }_{k=1}^p((x_i-\bar{x}{)}^T{u}_k)u_k$
降维的数据$:{\hat{x}}_i={\sum }_{k=1}^q((x_i-\bar{x}{)}^T{u}_k)u_k$
($u_1$到$u_p$分别对应从大到小的特征值)

因此重构距离也就是指$x_i-{\hat{x}}_i$，本着最小化重构距离的思想我们可以设置新的损失函数如下：

$$\begin{gathered} J=\frac{1}{N}\sum _{i=1}^N{\Vert (x_i-\bar{x})-{\hat{x}}_i\Vert }^2 \\ =\frac{1}{N}\sum _{i=1}^N{\Vert \sum _{k=q+1}^p((x_i-\bar{x}{)}^T{u}_k)u_k\Vert }^2 \\ =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p((x_i-\bar{x}{)}^T{u}_k{)}^2 \\ =\sum _{k=q+1}^p\underset{u_k^{T}S{u}_k}{\underbrace{\frac{1}{N}\sum _{i=1}^N((x_i-\bar{x}{)}^T{u}_k{)}^2}} \\ =\sum _{k=q+1}^p{u}_k^{T}S{u}_k \end{gathered}$$$$s.t.u_k^T{u}_k=1$$

然后就可以转化为以下最优化问题：

$$\{\begin{array}{c}\hat{u}=argmin{\sum }_{k=q+1}^p{u}_k^{T}S{u}_k\\ s.t.u_k^T{u}_k=1\end{array}$$

显然这里的每个$u_k$是可以单独求解的，最终也可以解得$u_k$是协方差矩阵$S$的特征向量，只不过这里的$u_k$是对应特征值较小的几个特征向量。

六、SVD角度看PCA和PCoA

协方差矩阵$S$的特征分解：

$$S=GK{G}^T,其中G^{T}G=I,K=\left[\begin{array}{cccc}{k}_1& & & \\ & k_2& & \\ & & \ddots & \\ & & & k_p\end{array}\right],k_1\ge k_2\ge \cdots \ge k_p$$

将$X$中心化的结果$HX$做奇异值分解：

$$HX=U\Sigma V^T,其中\{\begin{array}{c}{U}_{N\times N}是正交矩阵\\ V_{p\times p}是正交矩阵\\ {\Sigma }_{N\times p}是对角矩阵\end{array}$$

接下里可以做以下变换：

$$S_{p\times p}=X^{T}HX=X^T{H}^{T}HX=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T$$$$(V{\Sigma }^T\Sigma V^T是S的特征值分解，{\Sigma }^T\Sigma 即为K。)$$

接下来我们构造矩阵$T_{N\times N}$：

$$T_{N\times N}=HX{X}^T{H}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$$$$(U\Sigma {\Sigma }^T{U}^T是T的特征值分解，\Sigma {\Sigma }^T为特征值矩阵。)$$

对比$S_{p\times p}$和$T_{N\times N}$，我们可以发现：

• ①将$S$进行特征分解然后得到投影的方向，也就是主成分，然后矩阵$HXV$即为重构坐标系的坐标矩阵；
• ②将$T$进行特征分解可以直接获得坐标矩阵$U\Sigma$。（注意应保证$S$和$T$特征分解得到的特征向量是单位向量。）

关于为什么将$T$进行特征分解可以直接获得坐标矩阵，现做以下解释：

坐标矩阵$HXV=U\Sigma V^{T}V=U\Sigma$
也就是说$U\Sigma$ 即为坐标矩阵
接着$TU\Sigma =U\Sigma {\Sigma }^T{U}^{T}U\Sigma =U\Sigma ({\Sigma }^T\Sigma )$
也就是说$U\Sigma$是$T$的特征向量组成的矩阵

这两种⽅法都可以得到主成分，但是由于⽅差矩阵是$p\times p$的，⽽$T$是$N\times N$的，所以对样本量较少的时候可以采⽤PCoA的⽅法。

七、概率PCA（p-PCA）

（一）概述

假设有以下数据：

$$x\in {\mathbb{R}}^p,z\in {\mathbb{R}}^q,q<p$$

其中$x$是原始数据，$z$是降维后的数据，可以将$z$看做隐变量（latent variable），$x$看做观测变量（observed variable），则p-PCA就可以看做生成模型。

$x$和$z$满足以下关系：

$$\{\begin{array}{c}z\sim N(0_{q\times 1},I_{q\times q})\\ x=Wz+\mu +\epsilon \\ \epsilon \sim N(0_{p\times 1},{\sigma }^2{I}_{p\times p})\end{array}$$

这是一个线性高斯模型，其中$\epsilon$是噪声，$\epsilon$与$z$是独立的。求解这个模型要经过两个阶段：
①Inference：求$P(z|x)$
②Learning：使用EM算法求解参数$W、\mu ，{\sigma }^2$。

$x$的生成过程如下：

上图中数据空间为⼆维，潜在空间为⼀维。⼀个观测数据点$x$的⽣成⽅式为：⾸先从潜在变量的先验分布$p(z)$中抽取⼀个潜在变量的值$\hat{z}$，然后从⼀个各向同性的⾼斯分布（⽤红⾊圆圈表示）中抽取⼀个$x$的值，这个各向同性的⾼斯分布的均值为$W\hat{z}+\mu$，协⽅差为${\sigma }^{2}I$。绿⾊椭圆画出了边缘概率分布$p(x)$的密度轮廓线。

（二）推断（inference）

求解P(z|x)的过程如下：

$$P(z)\to P(x|z)\to P(x)\to P(z|x)$$

1.求$P(x|z)$

$$\begin{gathered} E\left[x|z\right]=E\left[Wz+\mu +\epsilon \right]=Wz+\mu +0=Wz+\mu \\ Var\left[x|z\right]=Var\left[Wz+\mu +\epsilon \right]={\sigma }^{2}I \\ \Rightarrow x|z\sim N(Wz+\mu ,{\sigma }^{2}I) \end{gathered}$$

2.求$P(x)$

$$\begin{gathered} E[x]=E[Wz+\mu +\epsilon ]=E[Wz+\mu ]+E[\epsilon ]=\mu \\ Var[x]=Var[wz+\mu +\epsilon ]=Var[Wz]+Var[\epsilon ]=W{W}^T+{\sigma }^{2}I \\ \Rightarrow x\sim N(\mu ,W{W}^T+{\sigma }^{2}I) \end{gathered}$$

3.求$P(z|x)$

该问题和白板推导系列笔记（二）-数学基础中第六部分第三小点的求法是类似的。

$$\left(\begin{array}{c}x\\ z\end{array}\right)\sim N\left(\left[\begin{array}{c}\mu \\ 0\end{array}\right],\left[\begin{array}{cc}W{W}^T+{\sigma }^{2}I& \Delta \\ {\Delta }^T& I\end{array}\right]\right)$$$$\begin{gathered} \Delta =Cov(x,z) \\ =E[(x-\mu )(z-0{)}^T] \\ =E[(Wz+\mu +\epsilon -\mu )z^T] \\ =E[(Wz+\epsilon )z^T] \\ =E[Wz{z}^T+\epsilon z^T] \\ =E[Wz{z}^T]+E[\epsilon z^T] \\ =WE[z{z}^T]+E[\epsilon ]E[z^T] \\ =WE[(z-0)(z-0{)}^T]+0 \\ =WVar[z] \\ =W \end{gathered}$$
因此，$$\left(\begin{array}{c}x\\ z\end{array}\right)\sim N\left(\left[\begin{array}{c}\mu \\ 0\end{array}\right],\left[\begin{array}{cc}W{W}^T+{\sigma }^{2}I& W\\ W^T& I\end{array}\right]\right)$$

$$P(z|x)\sim N(W^T(W{W}^T+{\sigma }^{2}I{)}^{-1}(x-\mu ),I-W^T(W{W}^T+{\sigma }^{2}I{)}^{-1}W)$$

（三）学习（Learning）

这里涉及到的内容在白板推导系列笔记（十）-期望最大算法中有很详细的讲解。

下一章传送门：白板推导系列笔记（六）-支持向量机

参考文章
主成分分析|机器学习推导