5 降维 Dimention Reduction

我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，从几何角度来看，我们知道 $n$ 维球的体积为： $$C{R}^n$$ 那么在球体积与边长为 $2R$ 的超立方体比值为： $$\underset{n\to 0}{\lim }\frac{C{R}^n}{2^n{R}^n}=0$$

当$n$比较小的时候，数据分布还比较均匀，但是随着$n$增大，也就是维度增加的时候，数据的分布会及其不均匀，因为球的体积占比会非常小，在高维数据中，主要样本都分布在立方体的边缘，这就是所谓的维度灾难，所以数据集更加稀疏。

降维的算法分为：

1. 直接降维，特征选择
2. 线性降维，PCA，MDS等
3. 分线性，流形包括 Isomap，LLE 等

假设数据集为： $$X=(x_1,x_2,\cdots ,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_p^T\end{array}\right)={\left(\begin{array}{c}{x}_{11}{x}_{21}\dots x_{1p}\\ x_{21}{x}_{22}\dots x_{2p}\\ ⋮⋮⋮⋮\\ x_{p1}{x}_{p2}\dots x_{pp}\end{array}\right)}_{N\ast p}$$
$$1_N={\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\ast 1}$$
$x_i\in {\mathbb{R}}^p,i=1,2\cdots N$
样本均值：${\overline{x}}_{p\ast 1}=\frac{1}{N}\sum _{i=1}^N{x}_i$
样本方差：$S_{p\ast p}=\frac{1}{N}\sum _{i=1}^N(x_i-\overline{X})(x_i-\overline{X}{)}^T$
为了方便，我们首先将协方差矩阵（数据集）写成中心化的形式：
${\overline{x}}_{p\ast 1}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}(x_1,x_2,\cdots ,x_N){\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\ast 1}=\frac{1}{N}{X}^T{1}_N$

$$\begin{array}{rl}S& =\frac{1}{N}\sum _{i=1}^N(x_i-\overline{X})(x_i-\overline{X}{)}^T\\ & \\ & =\frac{1}{N}(x_1-\overline{X},x_2-\overline{X},\cdots ,x_N-\overline{X})(x_1-\overline{X},x_2-\overline{X},\cdots ,x_N-\overline{X}{)}^T\\ & \\ & =\frac{1}{N}(X^T-\overline{X}{1}_N^T)(X^T-\overline{X}{1}_N^T{)}^T\\ & \\ & =\frac{1}{N}(X^T-\frac{1}{N}{X}^T{1}_N{1}_N^T)(X^T-\frac{1}{N}{X}^T{1}_N{1}_N^T{)}^T\\ & \\ & =\frac{1}{N}{X}^T(I_N-\frac{1}{N}{1}_N{1}_N^T)(I_N-\frac{1}{N}{1}_N{1}_N^T{)}^{T}X\\ & \\ & =\frac{1}{N}{X}^T{H}_N{H}_N^{T}X\\ & \\ & =\frac{1}{N}{X}^T{H}_N{H}_{N}X\\ & \\ & =\frac{1}{N}{X}^{T}HX\end{array}$$
这个式子利用了中心矩阵 $H$的对称性，这也是一个投影矩阵。
定义；中心矩阵centeringmatrix：$H_N=I_N-\frac{1}{N}{1}_N{1}_N^T$
$H_N$ 每个样本减去均值，会使图像向中心移动
$$S=\frac{1}{N}{X}^{T}H{H}^{T}X$$中心矩阵$H_N$具有以下性质
$H_N=I_N-\frac{1}{N}{1}_N{1}_N^T$

$H_N^T=I_N-\frac{1}{N}{1}_N{1}_N^T=H_N$

$$\begin{gathered} H^2=H\cdot H=(I_N-\frac{1}{N}{1}_N{1}_N^T)(I_N-\frac{1}{N}{1}_N{1}_N^T) \\ =I_N-\frac{2}{N}{1}_N{1}_N^T+\frac{1}{N^2}{1}_N{1}_N^T{1}_N{1}_N^T=I_N-\frac{1}{N}{1}_N{1}_N^T=H_N \end{gathered}$$

所以：$$S=\frac{1}{N}{X}^{T}H{H}^{T}X=\frac{1}{N}{X}^{T}HX$$

1 线性降维-主成分分析 PCA

主成分分析中，我们的基本想法是将所有数据投影到一个字空间中，从而达到降维的目标，为了寻找这个子空间，我们基本想法是：

• 所有数据在子空间中更为分散
• 损失的信息最小，即：在补空间的分量少

总结一下就是，一个中心，两个基本点
一个中心：
将一组可能线性相关的变量，通过正交变换变换成一组线性无关的变量（主成分），原始特征空间的重构：相关$\to$无关
两个基本点：

• 最大投影方差：即数据足够分散
• 最小重构距离：从投影返回到原始数据的代价

最大投影方差与最小重构距离是PCA中心思想的两种不同角度，实际上表述的是同一个意思，但方差比较大时，数据才会比较分散，那么重构回去时比较简单；若数据比较集中，甚至比较极端点，数据经过降维后都变成了一个点，基本上是重构不回去的。

原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 $p$ 个新的线性无关的单位基 $u_i$，降维就是取其中的 $q$ 个基。于是对于一个样本 $x_i$，经过这个坐标变换后： $$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\sum _{i=1}^q(u_i^T{x}_i)u_i+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$

1.1 最大投影方差

方法
1、中心化，每个样本点减去均值$x_i-\overline{X}$
2、投影，求最大方差
假设投影到${\mu }_1$ 上，投影过程为${(x_i-\bar{X})}^T{\mu }_1$ $s.t.{\mu }_1^T{\mu }_1=1$，这里假设${\mu }_1$的模是1
投影后方差为：(因为投影前已经减去了均值，所以这里可以直接平方)
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\left({\left(x_i-\bar{X}\right)}^T{\mu }_1\right)}^2\\ & =\frac{1}{N}\sum _{i=1}^N{\mu }_1^T\left(x_i-\bar{X}\right){\left(x_i-\bar{X}\right)}^T{\mu }_1\\ & ={\mu }_1^T\left(\sum _{i=1}^N\frac{1}{N}\left(x_i-\bar{X}\right){\left(x_i-\bar{X}\right)}^T\right){\mu }_1\\ & ={\mu }_1^{T}S{\mu }_1\end{array}$$
上述问题就是以下的优化问题：
$$\mu =\mathrm{argmax}{\mu }_1^{T}S{\mu }_1$$$$s.t.{\mu }_1^T{\mu }_1=1$$
采用拉格朗日乘值法进行求解：
$$\begin{array}{l}L\left({\mu }_1,\lambda \right)={\mu }_1^{T}S{\mu }_1+\lambda \left(1-{\mu }_1^T{\mu }_1\right)\\ \\ \frac{\partial L}{\partial {\mu }_1}=2S{\mu }_1-2\lambda {\mu }_1=0\\ \\ S{\mu }_1=\lambda {\mu }_1\end{array}$$
所以，要求的就是协方差矩阵S的特征向量

上面以一个${\mu }_1$为例进行介绍的，下面介绍多个单位基的情况。
原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 $p$ 个新的线性无关的单位基 $u_i$，降维就是取其中的 $q$ 个基。于是对于一个样本 $x_i$，经过这个坐标变换后： $$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\sum _{i=1}^q(u_i^T{x}_i)u_i+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$ 对于数据集来说，我们首先将其中心化然后再去上面的式子的第一项，并使用其系数的平方平均作为损失函数并最大化：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^q{\left({\left(x_i-\bar{X}\right)}^T{\mu }_j\right)}^2\\ & =\sum _{j=1}^q{\mu }_j^{T}S{\mu }_j\end{array}$$ $$s.t.{\mu }_j^T{\mu }_j=1$$
由于每个基都是线性无关的，于是每一个 $u_j$ 的求解可以分别进行，使用拉格朗日乘子法： $$\underset{u_j}{\mathrm{argmax}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmax}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$ 于是： $$S{u}_j=\lambda u_j$$ 可见，我们需要的基就是协方差矩阵的特征向量。损失函数最大取在本征值前 $q$ 个最大值。

1.2 最小重构代价

对于向量$x_i$在$u_k$ 方向的投影值为$x_i^T{u}_k$ ,投影值和单位向量的乘机为$(x_i^T{u}_k)u_k$
所以 完整的是 $x_i=\sum _{k=1}^p(x_i^T{u}_k)u_k$
为什么使用求和就可以呢，以二维坐标系进行简单说明（见下图）怎么表示向量$x$呢，其实就是下图中x，y轴上的两个向量的加和，其中在x轴上的向量的值实际上就是向量$x$在x轴上的投影在乘上x轴的单位向量，这就是上面式子的原因。

用PCA进行降维，降维后的维度为q，并且q<p
${\hat{x}}_i=\sum _{k=1}^q(x_i^T{u}_k)u_k$
重构代价是：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\Vert x_i-{\hat{x}}_i\Vert }^2\\ & =\frac{1}{N}\sum _{i=1}^N{\Vert \sum _{k=q+1}^p\left(x_i^T{u}_k\right)u_k\Vert }^2\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left(x_i^T{u}_k\right)}^2\end{array}$$
$x_i$进行中心化(PCA需要中心化)，重构代价如下：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p\sum _{i=1}^N\frac{1}{N}{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p{u}_k^{T}S{u}_k(这里可以写是因为最小投影方差那一样)\\ \text{ s.t. }& u_k^T{u}_k=1\end{array}$$ 最小重构代价J：$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p{u}_k^{T}S{u}_k\\ \text{ s.t. }& u_k^T{u}_k=1\end{array}$$
优化问题：
$$\underset{u_j}{\mathrm{argmax}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmax}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$
损失函数最小取在本征值剩下的个最小的几个值。

最大投影方差与最小重构代价的区别

• 原先由p维取前q维
• 最大投影方差目标前q最大
• 最小重构代价目标后p−q维方差最小

1.3 从SVD 角度看PCA与PCoA

---

特征值分解
若S为n阶对称阵，则必有正交矩阵G使得
$$S=GK{G}^T=GK{G}^{-1}{G}^{T}G=IK=\left[\begin{array}{cccc}{k}_1& 0& \dots & 0\\ 0& k_2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & k_p\end{array}\right]k_1\ge k_2\ge \cdots \ge k_p$$
其中S是方阵，G是这个矩阵甲的特征向量组成的矩阵，K是一个对角阵，每一个对角线上的元素就是一个特征值。一个矩阵的一组特征向量是一组正交向量。

SVD奇异值分解
在现实的世界中，遇到的大部分矩阵都不是方阵，怎样描述这样普通的矩阵的重要特征？答案是可以使用奇异值分解来解决。
A 是一个N * M的矩阵，那么得到的U是一个N * N的方阵（里面的向量是正交的，称为左奇异向量），Σ是一个N * M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），$V^T$是一个m * m的矩阵（里面的向量也是正交的，称为右奇异向量）

上面是对下面可能会用到的知识进行简单的介绍。

实际训练时常常使⽤的 SVD 直接求得这q个特征向量。

• 原始数据为$X$,中心化矩阵 $H=I-\frac{1}{N}{1}_N{1}_N^T$

• 对数据进行中心化(中心化矩阵可以实现中心化的功能，可见本章节开始) $HX$

• 对中心化后的数据集进行奇异值分解： $$HX=U\Sigma V^T，U^{T}U=I_N，V^{T}V=I_p，\Sigma :N\times p$$

于是： $$S=\frac{1}{N}{X}^{T}HX=\frac{1}{N}{X}^T{H}^{T}HX=\frac{1}{N}V{\Sigma }^T\Sigma V^T$$
因为S是实对称阵，所以：$S=GK{G}^T$
$G=VK={\Sigma }^2$

因此，我们直接对中心化后的数据集进行 SVD，就可以得到特征值和特征向量 $V$，在新坐标系中的坐标就是： $$HX\cdot V$$ 由上面的推导，我们也可以得到另一种方法 PCoA 主坐标分析，定义并进行特征值分解： $$T=HX{X}^{T}H=U\Sigma {\Sigma }^T{U}^T$$
$T$和$S$有相同的特征值

• $S$:特征分解，得到方向(主成分)，然后$HX\cdot V\to$坐标
• $T$:特征分解，直接得到坐标

$T$主坐标分析（principle coordinate analysis）PCoA

由于： $$HX\cdot V=U\Sigma V^{T}V=U\Sigma$$
$$TU\Sigma =U\Sigma {\Sigma }^T{U}^T\cdot U\Sigma =U\Sigma ({\Sigma }^T\Sigma )$$
$U\Sigma$为特征向量组成的矩阵，${\Sigma }^T\Sigma$为特征值矩阵。于是可以直接得到坐标。这两种方法都可以得到主成分，但是由于方差矩阵是 $p\times p$ 的，而 $T$ 是 $N\times N$ 的，所以对样本量较少的时候可以采用 PCoA的方法。

1.4 从概率角度看PCA：p-PCA

下面从概率的角度对 PCA 进行分析，概率方法也叫 p-PCA。我们使用线性模型，类似之前 LDA，我们选定一个方向，对原数据 $x\in {\mathbb{R}}^p$ ，降维后的数据为 $z\in {\mathbb{R}}^q,q<p$。降维通过一个矩阵变换（投影）进行。设$z$的先验：$$\begin{array}{rl}z& \sim \mathcal{N}\left({\mathbb{O}}_{q1},{\mathbb{I}}_{qq}\right)\\ & \\ x& =Wz+\mu +\epsilon \\ & \\ \epsilon & \sim \mathcal{N}\left(0,{\sigma }^2{\mathbb{I}}_{pp}\right)\end{array}$$
$${\sigma }^2{I}_p=\left[\begin{array}{cccc}{\sigma }^2& 0& \dots & 0\\ 0& {\sigma }^2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\sigma }^2\end{array}\right]$$
基于上面的先验，可得$z,x|z,x.z|x$
线性高斯模型：$$P-PCA=\{\begin{array}{ll}\text{Inference,}& p(z|x)\\ \text{Learing,}& w,\mu ,{\sigma }^2\to EM\end{array}$$

对于$z$的分布如上，那么x的分布就如上图
那么可知$$\{\begin{array}{l}z\sim N(0,I)\\ \\ x=wz+\mu +ϵ\\ \\ ϵ\sim N\left(0,{\sigma }^{2}I\right)\\ \\ ϵ\perp z\\ \\ E[x|z]=E[wz+\mu +ϵ]=wz+\mu \\ \\ \mathrm{Var}[x|z]=\mathrm{Var}[wz+\mu +ϵ]={\sigma }^{2}I\\ \\ x|z\sim N\left(wz+u,{\sigma }^{2}I\right)\end{array}$$
上面的前四个是已知条件，第5,6,7个是根据前面的逐步推出来的。其中第5个式子，因为$z$是先验调条件，因此可以当作常数。
$$\begin{array}{l}E[x]=E[wz+\mu +ϵ]=E[wz+\mu ]+E[ϵ]=\mu \\ \\ \mathrm{Var}[x]=\mathrm{Var}[wz+\mu +ϵ]=\mathrm{Var}[wz]+\mathrm{Var}[ϵ]=wI{w}^T+{\sigma }^{2}I=w{w}^T+{\sigma }^{2}I\\ \\ x\sim N\left(\mu ,w{w}^T+{\sigma }^2\right)\end{array}$$
之前的公式：
$$x=\left[\begin{array}{l}{x}_a\\ x_b\end{array}\right]\mu =\left[\begin{array}{l}{\mu }_0\\ {\mu }_1\end{array}\right]\Sigma =\left[\begin{array}{ll}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right]$$

$$\begin{array}{l}\text{ 已知: }x\sim N(\mu ,\Sigma )\\ \\ x_{b,a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ {\mu }_{b.a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a\\ \\ {\Sigma }_{bb.a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\text{ schur complementary }\\ \\ x_b=x_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ E\left[x_b|x_a\right]={\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ Var\left[x_b|x_a\right]=Var\left[x_{b.a}\right]={\Sigma }_{bb.a}\\ \\ x_b|x_a\sim N\left({\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a,{\Sigma }_{bb.a}\right)\end{array}$$

推导：
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim \left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{cc}0& \Delta \\ {\Delta }^T& I\end{array}\right]\right)\end{array}$$
$$\begin{array}{l}\Delta =\mathrm{Cov}(x,z)\\ \\ =E[(x-\mu )(z-0{)}^T]\\ \\ =E\left[(x-\mu )z^T\right]\\ \\ =E\left[(wz+ϵ)z^T\right]\\ \\ =E\left[wz{z}^T+ϵz^T\right]\\ \\ =wE\left[z{z}^T\right]+E[ϵ]\cdot E\left[z^T\right]\\ \\ =w\cdot I+0\\ \\ =w\end{array}$$
上面的$E\left[z{z}^T\right]$可以看作求方差，因为$z$的均值是0
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim \left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{cc}O& \Delta \\ {\Delta }^T& I\end{array}\right]\right)=\left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{ll}w{w}^T+{\sigma }^{2}I& w\\ w^T& I\end{array}\right]\right)\end{array}$$
联合概率
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim N(\hat{\mu },\hat{\Sigma })\end{array}$$
对于这个模型，我么可以使用期望-最大（EM）的算法进行学习，在进行推断的时候需要求得 $p(z|x)$，推断的求解过程和线性高斯模型类似。$$\begin{array}{c}p(z|x)=\frac{p(x|z)p(z)}{p(x)}\\ \\ \mathbb{E}[x]=\mathbb{E}[Wz+\mu +\epsilon ]=\mu \\ \\ \mathrm{Var}[x]=W{W}^T+{\sigma }^2{\mathbb{I}}_{pp}\\ \\ ⟹p(z|x)=\mathcal{N}\left(W^T{\left(W{W}^T+{\sigma }^2\mathbb{I}\right)}^{-1}(x-\mu ),\mathbb{I}-W^T{\left(W{W}^T+{\sigma }^2\mathbb{I}\right)}^{-1}W\right)\end{array}$$

小结

降维是解决维度灾难和过拟合的重要方法，除了直接的特征选择外，我们还可以采用算法的途径对特征进行筛选，线性的降维方法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进行中心化然后求奇异值分解或者对数据的协方差矩阵进行分解就可以得到其主要维度。非线性学习的方法如流形学习将投影面从平面改为超曲面。