机器学习系列：降维

我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，我们知道 $n$ 维球的体积为： $$C{R}^n$$ 那么在球体积与边长为 $2R$ 的超立方体比值为： $$\underset{n\to 0}{\lim }\frac{C{R}^n}{2^n{R}^n}=0$$

这就是所谓的维度灾难，在高维数据中，主要样本都分布在立方体的边缘，所以数据集更加稀疏。

降维的算法分为：

1. 直接降维，特征选择
2. 线性降维，PCA，MDS等
3. 分线性，流形包括 Isomap，LLE 等

1. PCA降维

主成分分析中，我们的基本想法是将所有数据投影到一个字空间中，从而达到降维的目标，为了寻找这个子空间，我们基本想法是：

1. 所有数据在子空间中更为分散
2. 损失的信息最小，即：在补空间的分量少

注意，我们降维的目的是通过变换去掉一些冗余的数据，我们想要的是数据之间的结构关系，和具体值的大小无关，为了方便计算，我们先对数据进行归一化。$x_i=x_i-\overline{x}$，假设$x_i$的维度是p，想要降维后的维度是q，那么我们需要一个转移矩阵，降维后的向量$\widehat{x_i}=W^T{x}_i$，这里的$W$就是转移矩阵，维度是$p\ast q$，也就是说通过$W$将$p$维向量降为$q$维向量。我们用$X$表示$(x_1,\cdots ,x_n)$注意这是中心化后的数据，降维后的数据为$\hat{X}=W^{T}X$
$$\begin{array}{rl}S& =\frac{1}{N}\sum _{i=1}^N(x_i)(x_i{)}^T\\ & =\frac{1}{N}(x_1,x_2,\cdots ,x_N)(x_1,x_2,\cdots ,x_N{)}^T\\ & =\frac{1}{N}X{X}^T\end{array}$$
这是协方差的计算方法，将$\hat{X}$带入，得到$S=\frac{1}{N}{W}^{T}X{X}^{T}W$，然后根据第二条原因，让空间转移后的向量之间距离尽可能大，也就是说协方差$S$尽量大，于是得到优化问题最大化：
$$\begin{array}{r}\underset{W}{\min }{W}^{T}X{X}^{T}W\\ s.t.W^{T}W=I\end{array}$$
可以使用拉个朗日定理，计算：
$$\min W^{T}X{X}^{T}W+\lambda (I-W^{T}W)$$
对W求导令其等于0得到，
$$X{X}^{T}W=\lambda W$$
上式子分解得到$X{X}^T{w}_i={\lambda }_i{w}_i$,这个式子很明显，对$X{X}^T$进行特征值分解很容易得到${\lambda }_i$再求其特征向量得到$w_i$，取前q个最大的特征值和对应的特征向量就是我们要求的降维转移矩阵

2. 矩阵降维 SVD和特征值分解

2.1 特征值分解

在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵$A$是一个m×m的实对称矩阵（即$A=A^T$），那么它可以被分解成如下的形式

其中$Q$为标准正交阵，即有$Q{Q}^T=I$，Σ为对角矩阵，且上面的矩阵的维度均为$m\times m$。$\lambda i$称为特征值，$q_i$是$Q$（特征矩阵）中的列向量，称为特征向量。

2.2 奇异值分解(SVD)

有一个$m\times n$的实数矩阵A，我们想要把它分解成如下的形式
$$A=U\Sigma V^T\text{\hspace{1em}(2-1)}$$
其中$U$和$V$均为单位正交阵，即有$U{U}^T=I$和$V{V}^T=I$，U称为左奇异矩阵，V称为右奇异矩阵，Σ仅在主对角线上有值，我们称它为奇异值，通常来说取的特征值越大越好，其它元素均为0。上面矩阵的维度分别为$U\in R^{m\times m},\Sigma \in R^{m\times n},V\in R^{n\times n}$。

一般地Σ有如下形式


奇异值求解
常求上面的U,V,Σ不便于求，我们可以利用如下性质
$$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$$
$$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T$$

奇异值分解可以用到矩阵的降维上，例如一张600x800的图片，可以降维为600x100,100x100,100x800的$U\Sigma V$，这样一来，参数大大的降低了，而图像的语义其实并没有太大改变。