特征降维和特征选择

特征表示学习

SIFT特征 – 尺度不变特征变换

算法分为四个步骤

1. 在尺度空间找一些极值点
2. 找一些关键点(梯度比较大)的localization
3. 估计特征的方向(将旋转了的特征旋转回去，类似于做一种图像配准)
4. 对关键点做描述，用一个$d$维特征矢量

为什么需要做数据降维

1. 为了可视化数据
2. 维数比较低的时候，过拟合的风险比较小，有更好的泛化性
3. 加速算法学习过程

线性降维

• 将数据从高维空间投影到低维空间
• 通过一个线性投影矩阵$U$来实现
• 不同的线性降维算法就是通过不同的准则去学习U。不同的准则在于我们想要刻画数据的什么性质。比如PCA算法是想刻画数据的主成分。ICA是刻画数据的独立成分。

PCA算法

• 希望保留数据方差最大的方向
• 第一个PC：具有最大方差的方向
• 第二个PC：具有第二大方差的方向，但是第2个PC要正交于第一个PC。后面每一个PC都会与前面的PC正交。

算法步骤

1. 给定一组数据，首先计算数据的均值
2. 然后计算原始数据的协方差矩阵:$S=\frac{1}{N}{\sum }_{n=1}^N(x_n-\bar{x})(x_n-\bar{x}{)}^T$
3. 对$D\times D$维的协方差矩阵$S$做特征值分解，得到$k$个最大的特征值及其对应的特征向量作为主成分且进行特征向量的正交化
4. 将正交化的向量排列得到$U=R^{D\times K}$维投影矩阵
5. 对于一个新样本，计算降维后的样本特征向量：$y_i=U^T{x}_i$

PCA：重构

• 用$k$个主成分将原始数据重构出来

• $${\tilde{\mathbf{x}}}_n=\sum _{i=1}^K\left({\mathbf{x}}_n^{\top }{\mathbf{u}}_i\right){\mathbf{u}}_i=\sum _{i=1}^K{z}_{ni}{\mathbf{u}}_i$$

当特征维数过高的时候怎么处理

• $N<<D$
• 不去直接计算协方差矩阵$S=\frac{1}{N}X{X}^T\in R^{D\times D}$的特征值和特征向量，而是去计算$B=\frac{1}{N}{X}^{T}X\in R^{N\times N}$的特征值和特征向量。
• 然后利用公式$u_i=\frac{1}{(N{\lambda }_i{)}^2}X{v}_i$将我们需要的特征向量恢复出来。

PCA:最小重构误差

• PCA是所有线性投影中重构误差最小。

CCA：典型相关分析

• CCA是要找到两组变量之间的线性关系。
• CCA要找到两组基，每一个变量有一组基，两组基是为了让两组变量投影到最相关的空间。
• 这里的两组变量指的是同一个物体的两种不同的描述，这两组描述是相关的。但是这两组特征在原始空间可能看不出相关性，一定要变化之后才能找到相关性。
• CCA算法也是通过矩阵的特征值分解实现的。

算法步骤

1. 分别求出第一组变量和第二组变量的协方差矩阵。

$$\begin{array}{l}{\Sigma }_{11}=\frac{1}{m-1}{\sum }_{i=1}^m\left(x_1^{(i)}-{\bar{x}}_1\right){\left(x_1^{(i)}-{\bar{x}}_1\right)}^{\prime }+r_{1}I(\text{ and }{\Sigma }_{22}）\end{array}$$

2.计算两组变量之间的协方差矩阵
$${\Sigma }_{12}=\frac{1}{m-1}\sum _{i=1}^m\left(x_1^{(i)}-{\bar{x}}_1\right){\left(x_2^{(i)}-{\bar{x}}_2\right)}^{\prime }$$

3. 对协方差矩阵做白化变换，将一个高斯分布变成一个标准高斯分布。

$$T\triangleq {\Sigma }_{11}^{-1/2}{\Sigma }_{12}{\Sigma }_{22}^{-1/2}$$

此时$T$可以反映归一化之后的数据的相关性。

4. 对$T$矩阵做奇异值分解：

$$T=UD{V}^{\prime }$$

5. 为了寻找最相关的子空间，就是寻找奇异值($D^{T}D$的特征值)最大的基：

( Total correlation at $k$ is ${\sum }_{i=1}^k{D}_{ii}$

6. 把$U$的前$k$列拿出来做归一化后当作第一组变量的基$W_1^{\ast }$，把$V$的前$k$列拿出来做归一化后当作第二组变量的基$W_2^{\ast }$。

The optimal projection matrices are
$$\left(W_1^{\ast },W_2^{\ast }\right)=\left({\Sigma }_{11}^{-1/2}{U}_k,{\Sigma }_{22}^{-1/2}{V}_k\right)$$
where $U_k$ is the first $k$ columns of $U$.

7. 对$x$计算投影后的向量：$x^{\prime }=W_1^{\ast T}x$。对$y$计算投影后的向量：$y^{\prime }=W_2^{\ast T}y$就可以将$x$和$y$投影到最相关的空间。

LDA：线性判别分析

• LDA是有监督学习。找到类别之间可分性最好的方向。
• LDA的假设是每个类都是高斯分布。

Fisher判别准则

• 把两个数据都看成高斯分布，然后计算可分性，将FDR最大化。

$$FDR=\frac{({\mu }_1-{\mu }_2{)}^2}{{\sigma }_1^2+{\sigma }_2^2}$$

• 让$\frac{({\tilde{\mu }}_1-{\tilde{\mu }}_2{)}^2}{{\tilde{\sigma }}_1^2+{\tilde{\sigma }}_2^2}$最大。

又因为：${\tilde{\mu }}_i=w^T{\mu }_i$。
$$\begin{gathered} {\left(\widetilde{{\mu }_1}-\widetilde{{\mu }_2}\right)}^2={\mathbf{w}}^T\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^T\mathbf{w}\propto {\mathbf{w}}^T{S}_b\mathbf{w}类间离散度 \\ {\tilde{\sigma }}_i^2=E\left[{\left(y-{\tilde{\mu }}_i\right)}^2\right]=E\left[{\mathbf{w}}^T(x-{\mu }_i){\left(x-{\mu }_i\right)}^T\mathbf{w}\right)]={\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_{\mathbf{i}}\mathbf{w}类内离散度 \\ {\tilde{\sigma }}_1^2+{\tilde{\sigma }}_2^2\propto {\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w} \end{gathered}$$

• Modified Criterion for LDA:
  (Raleigh Quotient) $FDR(\mathbf{w})=\frac{{\mathbf{w}}^T{S}_b\mathbf{w}}{{\mathbf{w}}^T{S}_w\mathbf{w}}$

LDA算法步骤

假设现在是多类分类问题：

1. 首先计算所有类的类内离散度，$p_i$是每个类别的先验概率：

$$S_w=\sum _{i=1}^C{p}_i{\Sigma }_i$$

2. 计算类间离散度：

$$S_b=\sum _{i,j=1}^C{p}_i{p}_j\left({\mu }_i-{\mu }_j\right){\left({\mu }_i-{\mu }_j\right)}^{\top }$$

3. LDA降维目标准则：

$$\underset{W}{\max }\mathrm{tr}\left\{{\left(W^{\top }{S}_{w}W\right)}^{-1}\left(W^{\top }{S}_{b}W\right)\right\}$$

4. 上式等价于：

$$\underset{W_{\mathrm{F}\mathrm{D}\mathrm{A}}\in {\mathbb{R}}^{d\times d^{\prime }}}{\max }\mathrm{tr}\left(W_{\mathrm{F}\mathrm{D}\mathrm{A}}^{\top }{S}_b{W}_{\mathrm{F}\mathrm{D}\mathrm{A}}\right)\text{ s.t. }{W}_{\mathrm{F}\mathrm{D}\mathrm{A}}^{\top }{S}_w{W}_{\mathrm{F}\mathrm{D}\mathrm{A}}=I$$

5. 对上面的式子做两步分解：

首先对$S_w$做白化变换：
$$\begin{array}{l}{S}_w=P\Lambda P^{\top }.\\ W_{\text{whiten }}=P{\Lambda }^{-1/2}\in {\mathbb{R}}^{d\times d}\\ W_{\text{whiten }}^{\top }{S}_w{W}_{\text{whiten }}=I.\end{array}$$

做PCA降维：
$$\begin{array}{rl}{W}_{\mathrm{F}\mathrm{D}\mathrm{A}}=& W_{\text{whiten }}W\\ \underset{W\in {\mathbb{R}}^{d\times d^{\prime }}}{\max }& \mathrm{tr}\left(W^{\top }{W}_{\text{whiten }}^{\top }{S}_b{W}_{\text{whiten }}W\right)\\ & \text{ s.t. }{W}^{\top }W=I\end{array}$$

LDA分步算法图解

1. 首先计算出所有类的类内离散度。
2. 然后对所有类进行白化变换，得到一个圆形(标准)高斯分布。此时每个类别可以用其聚类中心来表示。
3. 对聚类中心进行PCA降维。
4. 总结：LDA = 白化 + PCA

ICA：独立成分分析

算法：非高斯最大化

• $y=Wx=WAs$

其中：$s$是原始信号，$A$是混淆矩阵，$W$是恢复矩阵。$x$是观测变量。

中心极限定理：很多个独立信号之和趋近于高斯分布。所以$As$变得比较像高斯，通过$W$再混淆一下，再一次调用中心极限定理，$y$更像高斯。

只有在$y$严格与$s$相等时，非高斯性才最大。

整体算法

ICA任务

1. 只有一个观测变量$x$，希望学习一个$W$矩阵，把原始信号恢复出来。

解法

1. 对观测信号做白化变换，就是均值为0，方差为单位矩阵。
2. 在白化之后的数据上学习$W$矩阵去把独立成分恢复出来。
3. 但是恢复出来的信号幅值和原始信号不一样。

非线性特征降维(流形学习)

非线性方法的思想是：保持局部信息

LLE：局部线性嵌入(Local Linear Embedding)

算法步骤

1. 对于每个样本$x_i$，确定$x_i$的最近邻。
2. 用邻居来重构自己，求出重构系数$W_{ij}$

$$W=\arg \underset{W}{\min }\sum _{i=1}^N{\Vert {\mathrm{x}}_i-\sum _{j\in {\mathcal{N}}_i}{W}_{ij}{\mathrm{x}}_j\Vert }^2\text{ s.t. }\forall i\sum _j{W}_{ij}=1$$

${\mathcal{N}}_i$ are the $L$ nearest neighbors of ${\mathrm{x}}_i$ (note: should choose $L\ge K+1)$

3. 将上式计算好的$W$存储起来，然后目标是得到样本的低维坐标，也即让样本的低维坐标也满足如下的重构关系：

Use $W$ to compute low dim. projections Z = { z 1 , … , z N } \mathbf{Z}=\left\{\mathbf{z}_{1}, \ldots, \mathbf{z}_{N}\right\} Z={z1​,…,zN​} by solving:
$$\mathrm{Z}=\arg \underset{\mathrm{Z}}{\min }\sum _{i=1}^N{\Vert {\mathrm{z}}_i-\sum _{j\in \mathcal{N}}{W}_{ij}{\mathrm{z}}_j\Vert }^2\text{ s.t. }\forall i\sum _{i=1}^N{\mathrm{z}}_i=0,\frac{1}{N}{\mathrm{Z}\mathrm{Z}}^{\top }=\mathrm{I}$$

优点

1. 非线性，刻画的流形结构很好。

缺点

1. 对于PCA等线性投影，计算出了投影矩阵$W$之后下次就可以直接使用。但是对于LLE，来了一个新的测试样本，需要把新的测试样本和之前的样本放在一起重新跑一遍算法。

Isomap

1. 每一个样本都找到最近的k个邻居，把邻居关系构建成图，只有邻居之间才有边连接。
2. 每一个点与其k近邻的点之间的距离设置为欧式距离，与其他点的距离用测地距离来计算(Dijkstra算法)。【为什么可以用欧式距离：因为朋友关系是局部的，在局部可以使用欧式距离】
3. 最后可以构建出$N\times N$的测地距离矩阵 D = { d i j 2 } D = \{d_{ij}^2\} D={dij2​}，其中每个距离都是两个点之间的测地距离。
4. 构造出一个矩阵$G=-\frac{1}{2}HDH$，其中$G\in R^{N\times N}$。【为什么G要这么算，相当于对测地距离矩阵图做度的归一化】
5. 对归一化之后的矩阵$G$做特征值分解，取最大的$k$个特征值对应的特征向量。得到一个$N\times K$的矩阵。
6. 取每一行作为样本在低维空间的坐标。

• 也有out-of-sample的问题

主题：特征选择

• RFE嵌入法：消去分类器权重绝对值最小的那一个维度对应的特征。