【ML】维数灾难，主成分分析降维：最大投影方差

维数灾难（curse of dimensionality）

  分类器的性能随着特征个数的变化不断增加，但过了某一个值后，性能开始下降，这种现象称为“维数灾难”。

维数灾难的影响——过拟合

• 随着特征数量的增加，特征空间内的样本密度会更加稀疏，也就更容易找到一个超平面将训练样本分开；
• 但是训练样本越稀疏，分类器的参数估计就会越不准确，更加容易出现过拟合问题。

  事实上，增加特征数量使得高维空间线性可分，相当于在低维空间内训练一个复杂的非线性分类器。不过，这个非线性分类器太过“聪明”，仅仅学到了一些特例。如果将其用来辨别那些未曾出现在训练样本中的测试样本时，通常结果不太理想，也就是出现过拟合问题。

维数灾难的影响——训练样本的稀疏性并不是均匀分布的

  假设特征的值域是0到1，二维特征空间为边长为1的正方形，三维特征空间为边长为1的立方体，高维特征空间为边长为1的超立方体，超立方体的体积为1，如上图所示。与超立方体内切的超球面是半径为0.5的超球面，体积为
$$V(d)=\frac{{\pi }^{d/2}}{\Gamma (\frac{d}{2}+1)}0.5^d$$

超球面的体积与维度$d$的关系图形展示为，

  可以看出随着特征数量的增加，超球面的体积逐渐减小直至趋向于零，然而超立方体的体积却不变。也就是说，在高维特征空间中，大多数样本位于超立方体的角落，处于中心位置的训练样本比四周的训练样本更加稀疏。进一步地，记$dis{t}_{max}$、$di{s}_{min}$分别表示样本到中心的最大距离与最小距离，则有
$$\underset{d\to \infty }{\lim }\frac{dis{t}_{max}-dis{t}_{min}}{dis{t}_{min}}\to 0$$

  因此，在高维特征空间中对于样本距离的度量失去意义。由于分类器基本都依赖于如Euclidean距离，Manhattan距离等，所以在特征数量过大时，分类器的性能就会出现下降。

• 样本是稀疏的，当时相对于整个特征空间来说，分布是密集的。
• 低维空间中，内切圆相对整个正方形来说占很大比例，但这没办法推广到高维空间。

  理论上，如果训练样本的数量无限大，那么就不会存在“维数灾难”，我们可以采用任意多的特征来训练分类器。事实上，训练样本的数量是有限的，所以不应该采用过多的特征。此外，那些需要精确的非线性决策边界的分类器，比如neural network，knn，decision trees等的泛化能力往往并不是很好，更容易发生过拟合问题。因此，在设计这些分类器时应当慎重考虑特征的数量。相反，那些泛化能力较好的分类器，比如naive Bayesian，linear classifier等，可以适当增加特征的数量。

详细的分析例子可以参考博文：分类问题中的“维数灾难”

降维：

• 直接降维/特征选择：直接扔掉若干个不相关的特征，比如LASSO；
• 线性降维：PCA、MDS（多维缩放）；
• 非线性降维：流行（嵌入高维空间中的低维结构）学习，比如度量映射、局部线性嵌入。

PCA主成分分析

无监督降维。目标是降维后的数据方差尽可能的大。

作用：

• 聚类：把复杂的多维数据点，简化成少量数据点，易于分簇。
• 降维：降低高维数据维度，简化计算，达到数据降维、压缩、降噪的目的。

PCA的原理

• 将原有的$p$维数据集，转换为$k$维数据，$k<p$。
  • 寻找当前所在的$p$线性空间的一个$k$维线性子空间，在这个$k$维空间表示这些数据（将数据投影到$k$维空间）；
  • $k$维子空间的各个维度是正交的：各个维度之间不相关。
• 新生成的$k$维数据尽可能多的包含原来$p$维数据的信息：降维后数据应尽可能的分散，必然要求样本在每个维度上的投影都尽可能分散，用方差来衡量分散程度。
  • 这一点可通过下图来理解，当将数据投影到$x$轴时，即将二维空间降维到$x$轴这个一维空间，会有两个数据重合，它们在新的一维空间所表达的信息是相同的；而投影到$y=x$这条直线时，所有数据都得以保留。

PCA的数学推导

  设有包含$n$个样本的训练数据集 T = { x 1 , x 2 , . . . , x n } T=\{x_1,x_2,...,x_n\} T={x1​,x2​,...,xn​}，每个样本$x_i$都是$p$维的，$x_i=(x_{i1},x_{i2},...,x_{ip}{)}^T$为$p$维列向量，现要将其降到$k$维。记$X=(x_1,x_2,...,x_n{)}^T$。
  不妨假设样本均值为0，否则，对数据做去均值处理：
$$x_i-\bar{x}=x_i-\frac{1}{n}\sum _{j=1}^n{x}_j,i=1,2,...,n$$
由于样本均值为0，$X$的样本协方差矩阵$Cov(X)$为
$$S=\frac{1}{n-1}\sum _{i=1}^n{x}_i{x}_i^T=\frac{1}{n}{X}^{T}X$$
  假设我们找到的$k$维线性子空间的一组基为 { u 1 , u 2 , . . . , u k } \{u_1,u_2,...,u_k\} {u1​,u2​,...,uk​}，其中$u_i$是$p$维列向量，是在当前$p$维空间下的坐标表示，记$U=(u_1,u_2,...,u_k)$。不妨设$||u_i|{|}_2^2=u_i^T{u}_i=1$，否则，令$u_i=\frac{u_i}{||u_i|{|}_2^2}$。
  一个好的$k$维空间应保证样本在每个维度的投影的方差尽可能的大，以维度$u_1$为例，样本在维度$u_1$的投影为：
$$z_i=u_1^T{x}_i,i=1,2,...,n$$
计算$z_i,i=1,2,...,n$的样本均值与方差：
$$\bar{z}=\frac{1}{n}\sum _{i=1}^n{u}_1^T{x}_i=u_1^T\bar{x}=0$$
$$Cov(z)=\frac{1}{n-1}\sum _{i=1}^n(u_1^T{x}_i{)}^2=\frac{1}{n-1}\sum _{i=1}^n{u}_1^T{x}_i{x}_i^T{u}_1=u_1^T(\frac{1}{n-1}\sum _{i=1}^n{x}_i{x}_i^T)u_1=u_1^{T}S{u}_1$$
我们的目标是极大化$Cov(z)$：
$$\begin{array}{rl}& \underset{u_1}{\max }{u}_1^{T}S{u}_1\\ & s.t.||u_1|{|}_2^2=1\end{array}$$
定义拉格朗日函数
$$u_1^{T}S{u}_1+\lambda (1-||u_1|{|}_2^2)$$
关于$u_1$求导
$$2S{u}_1+\lambda (-2u_1)=0$$
即有
$$S{u}_1=\lambda u_1$$
将上式带入$Cov(z)$
$$Cov(z)=u_1^{T}S{u}_1=u_1^T\lambda u_1=\lambda ||u_1|{|}_2^2=\lambda$$
这表明，数据集在特征向量方向上的投影方差最大，并且投影的方差为相应的特征值。

  最优的 { u 1 , u 2 , . . . , u k } \{u_1,u_2,...,u_k\} {u1​,u2​,...,uk​}应是这样的：将样本协方差矩阵$S$的特征从大到小排序，前$k$特征值${\lambda }_1,{\lambda }_2,...,{\lambda }_k$，取相应的特征向量为$k$维空间的基

kernel PCA

  一般而言，$n$条数据在$p(p<n)$空间中线性不可分，但在$d(d\ge n)$维空间中是线性可分的。也就是说，如果能将$n$条数据映射到一个$d(d\ge n)$维空间中，就可以很容易地构建超平面将数据点进行分类。
  设有映射$\Phi$将$X$映射到高维特征空间$\mathcal{F}$，$\Phi (X)\subseteq \mathcal{F}\subseteq {\mathbb{R}}^d(d>p)$，
$$\Phi :x_i\to \Phi (x_i)$$
并且在高维特征空间中,样本均值为0，
$$\sum _{i=1}^n\Phi (x_i)=0$$
  虽然在$\mathcal{F}$中容易对数据进行分类，但是高维空间计算复杂，需要对再对$\Phi (X)$进行PCA降维。协方差矩阵$Cov(\Phi (X))$为，
$$C=\frac{1}{n-1}\sum _{i=1}^n\Phi (x_i)\Phi (x_i{)}^T=\frac{1}{n-1}\Phi (X{)}^T\Phi (X)$$
求解协方差矩阵$C$的特征值，
$$Cv=\lambda v$$
带入，
$$\frac{1}{n-1}\Phi (X{)}^T\Phi (X)v=\frac{1}{n-1}\sum _{i=1}^n\Phi (x_i)\Phi (x_i{)}^{T}v=\lambda v$$
$\Phi (X{)}^T\Phi (X)$与$C$的特征向量相同，因此可去掉$\frac{1}{n-1}$，考虑
$$\Phi (X{)}^T\Phi (X)v=\sum _{i=1}^n\Phi (x_i)\Phi (x_i{)}^{T}v=\lambda v(1)$$
PCA降维时，我们只需找较大的特征值对应的特征向量，而不需要计算0特征值对应的特征向量，因此，考虑$\lambda \ne 0$，两边都是除以$\lambda$，
$$v=\frac{1}{\lambda }\sum _{i=1}^n(\Phi (x_i)[\Phi (x_i{)}^{T}v])$$
等式右边方括号内为标量，上式表明，当$\lambda \ne 0$时，对应的特征向量$v$可以表示为所有$\Phi (x_i)$的线性组合，即
$$v=\sum _{i=1}^n{\alpha }_i\Phi (x_i)=\Phi (X{)}^T\alpha$$
其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n{)}^T$。
带入(1)式，
$$\Phi (X{)}^T\Phi (X)\Phi (X{)}^T\alpha =\lambda \Phi (X{)}^T\alpha$$
左乘$\Phi (X)$，
$$\Phi (X)\Phi (X{)}^T\Phi (X)\Phi (X{)}^T\Phi (X)\alpha =\lambda \Phi (X)\Phi (X{)}^T\alpha$$
定义矩阵$K=\Phi (X)\Phi (X{)}^T$，则$k$为$n\times n$的对称半正定矩阵，其第$i$行$j$列的元素为$K_{ij}=\Phi (x_i{)}^T\Phi (x_i)$，则
$$KK\alpha =\lambda \alpha$$
构建核函数
$$K(x_j,x_k)=\Phi (x_j{)}^T\Phi (x_k)(2)$$
为求解(2)式，需求解，
$$K\alpha =\lambda \alpha$$
定义核函数$K(x,y)=\Phi (x{)}^T\Phi (y)$，则我们不需要显式定义$\Phi$，这就是核技巧。

参考：
数据降维: 核主成分分析(Kernel PCA)原理解析