线性降维-笔记(2)

4 - MDS

MDS全称”Multidimensional Scaling”,多维缩放。其主要思想就是给定一个原始空间的，原始样本两两之间的距离矩阵；期望能在新空间中找到一个新的样本特征矩阵，使得其新样本两两之间的距离矩阵与原始的距离矩阵相等。因为$d' \leq d$，所以完成了降维的任务。

即假定有$m$个原始样本的距离矩阵为$D\in R^{m \times m}$,其第$i$行第$j$列元素$D_{ij}$为样本${\bf x}_i$和${\bf x}_j$之间的距离。以期望在$d'$维空间中找到样本表示的矩阵${\bf X}'\in R^{d'\times m}$，其中$d' \leq d$，且任意两个样本在$d'$维空间中的欧式距离等于原始空间中的距离，即$||{\bf x}_i-{\bf x}_j||=D_{ij}$.
ps：MDS大多都还是使用的欧式距离来作为样本之间的测量方法，更多的方法看下面的表4.1.

另${\bf D'}={\bf X'}^T{\bf X'}\in R^{m \times m}$,其中${\bf D'}$为降维后样本的内积矩阵，${D'}_{ij}={\bf x'}_i^T{\bf x'}_j$,则有：

$$\begin{eqnarray}D_{ij}^2 &=&||{\bf x'}_i-{\bf x'}_j||^2\\ &=&||{\bf x'}_i||^2+||{\bf x'}_j||^2-2{\bf x'}_i^T{\bf x'}_j\\ &=&{D'}_{ii}+{D'}_{jj}-2{D'}_{ij} \end{eqnarray}\tag{4.1}$$
假设求得的降维后样本已经中心化了，即 $\sum_i^m{\bf x'}=m\mu_{\bf x'}=0$,则可以看出矩阵 ${\bf D'}$的行之和等于列之和都为零，即
$$\sum_i^m{D'}_{ij}=\sum_j^m{D'}_{ij}=0\tag{4.2}$$
则4.2，4.1可得：
$$\begin{eqnarray}\sum_i^m{D}_{ij}^2 &=&\sum_i^m\left({D'}_{ii}+{D'}_{jj}-2{D'}_{ij}\right)\\ &=&\sum_i^m{D'}_{ii}+m{D'}_{jj}-2\sum_i^m{D'}_{ij}\\ &=&tr({\bf D'})+m{D'}_{jj} \end{eqnarray}\tag{4.3}$$
同理：
$$\sum_j^m{D}_{ij}^2=tr({\bf D'})+m{D'}_{ii}\tag{4.4}$$
则：
$$\begin{eqnarray}\sum_i^m\sum_j^m{D}_{ij}^2 &=&\sum_i^m\left(tr({\bf D'})+m{D'}_{ii}\right)\\ &=&mtr({\bf D'})+\sum_i^mm{D'}_{ii}\\ &=&2mtr({\bf D'}) \end{eqnarray}\tag{4.5}$$
令：
${\overline D}_{i.}^2=\frac{1}{m}\sum_j^m{D}_{ij}^2\tag{4.6}$
${\overline D}_{.j}^2=\frac{1}{m}\sum_i^m{D}_{ij}^2\tag{4.7}$
${\overline D}_{..}^2=\frac{1}{m^2}\sum_i^m\sum_j^m{D}_{ij}^2\tag{4.8}$
由4.1-4.8得：
$$\begin{eqnarray}{D'}_{ij} &=&-\frac{1}{2}\left({D}_{ij}^2-{D'}_{ii}-{D'}_{jj}\right)\\ &=&-\frac{1}{2}\left[{D}_{ij}^2-\frac{1}{m}\left(\sum_j^m{D}_{ij}^2-\frac{1}{2m}\sum_i^m\sum_j^m{D}_{ij}^2\right)-\frac{1}{m}\left(\sum_i^m{D}_{ij}^2-\frac{1}{2m}\sum_i^m\sum_j^m{D}_{ij}^2\right)\right]\\ &=&-\frac{1}{2}\left(D_{ij}^2-{\overline D}_{i.}^2-{\overline D}_{.j}^2+{\overline D}_{..}^2\right) \end{eqnarray}$$
从而可以计算得到降维后的样本距离矩阵 $\bf D'$。
对矩阵 $\bf D'$做特征值分解， ${\bf D'}=\bf V\Lambda V^T$，其中 ${\bf \Lambda}=diag(\lambda_1,\lambda_2,...\lambda_d)$为特征值构成的对角矩阵，且按照从大到小排序， $\bf V$为特征向量矩阵，假设其中有 $d^*$个非零特征值，则构成对角矩阵 ${\bf \Lambda}_*=diag(\lambda_1,\lambda_2,...\lambda_{d^*})$,令 $\bf V_*$表示对应的特征向量矩阵，则 ${\bf X'}$可得：
$${\bf X'}={\bf \Lambda_*^{1/2}}{\bf V}_*^T\in R^{{d^*}\times m}$$

表4.1 定量数据之间的相关性测量

距离测量	式 子
欧式距离	$D_{rs}=\{\sum_i^d(x_{ri}-x_{si})^2\}^{1/2}$
权重欧式距离	$D_{rs}=\{\sum_i^dw_i(x_{ri}-x_{si})^2\}^{1/2}$
马氏距离	$D_{rs}=\{({\bf x}_{r}-{\bf x}_{s})^T\Sigma^{-1}({\bf x}_{r}-{\bf x}_{s})\}^{1/2}$
City block测量	$D_{rs}=\sum_i^d|x_{ri}-x_{si}|$
Minkowski测量	$D_{rs}=\{\sum_i^dw_i|x_{ri}-x_{si}|^\lambda\}^{1/\lambda}\quad \lambda \geq 1$
Canberra测量	$D_{rs}=\sum_i^d\frac{|x_{ri}-x_{si}|}{x_{ri}+x{si}}$
Divergence	$D_{rs}=\frac{1}{d}\sum_i^d\frac{(x_{ri}-x_{si})^2}{(x_{ri}+x_{si})^2}$
Bray-Curtis	$D_{rs}=\frac{1}{d}\frac{\sum_i^d|x_{ri}-x_{si}|}{\sum_i^d(x_{ri}+x_{si})}$
Soergel	$D_{rs}=\frac{1}{d}\frac{\sum_i^d|x_{ri}-x_{si}|}{\sum_i^d\max(x_{ri},x_{si})}$
Bhattacharyya距离	$D_{rs}=\sqrt{\sum_i^d\left(\sqrt{(x_{ri})}-\sqrt{(x_{si})}\right)^2}$
Wave-Hedges	$D_{rs}=\sum_i^d\left(1-\frac{\min(x_{ri},x_{si})}{\max(x_{ri},x_{si})}\right)$
Angular separation	$D_{rs}=1-\frac{\sum_i^dx_{ri}x_{si}}{\left[\sum_i^dx_{ri}^2\sum_i^dx_{si}^2\right]^{1/2}}$
Correlation	$D_{rs}=1-\frac{\sum_i^d(x_{ri}-\overline x_r)(x_{si}-\overline x_s)}{\left[\sum_i^d(x_{ri}-\overline x_r)^2\sum_i^d(x_{si}-\overline x_s)^2\right]^{1/2}}$

5 - ICA

6 - LFA

7 - LPP

参考文献:
[] 周志华 机器学习
[] Michael A.A. Cox, Trevor F. Cox. Multidimensional Scaling