几种数据降维

PCA

在使数据降维后得到的新数据的方差最大化，最大程度的保持原始数据的特征

以$m\ast n$的数据降维到$m\ast k$(n>k)为例

先求n中特征下，每种特征对应的均值：
$$\bar{x}=\frac{{\sum }_{i=1}^n{x}_i}{n}$$
得到n个特征的平均值
然后计算协方差
协方差：
$$cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\bar{x})(Y_i-\bar{Y})}{n-1}$$
得到一个n*n的斜方差矩阵
然后求协方差的特征向量和特征均值，python可以直接用函数求：

feaValue,feaVec=np.linalg.eig(covX)#covX是协方差矩阵，返回值分别是特征值和特征向量

求得的特征值由大到小的到前K项，再找取特征值对应的特征向量，得到一个n*k的矩阵，用此原始数据的矩阵乘新得到的矩阵就能的到降到K维的数据

LDA

PCA有时虽最大的保留的数据的原始特征，但有可能使容易区分的类别降维到不易区分的类别，所以有时用LDA会比PCA有效，使降维后的数据集容易分类
基本的思路是使降维的数据集同类的点的距离尽量近，而不同类的点的距离尽量远

以$n\ast m$(n为特征数，m为样本的个数)（因后面的推导如果定义为m*n的话会出现我无法处理且看不懂的情况）的数据降维到$k\ast m$(n>k)为例并假如原数据只有两类记为1类和2类，含有的样本数记为n1和n2

尴尬的情况：
$$s_2=\sum _{i=1}^n(y_i-{\mu }_{j}2)(y_i-{\mu }_{j}2{)}^T=\sum _{i=1}^n(x_{i}w-{\mu }_{2}w)(x_{i}w-{\mu }_{2}w{)}^T=\sum _{i=1}^n(x_i-{\mu }_2)w{w}^T(x_i-{\mu }_2{)}^T$$


降维的公式：
$$y=w^{T}x$$
降维前记为$x$，降维后记为$y$，w为n*k的矩阵
求每类样例的均值：
$${\mu }_1=\frac{{\sum }_{i=1}^{n_1}{x}_i}{n_1}$$
$${\mu }_2=\frac{{\sum }_{i=1}^{n2}{x}_i}{n_2}$$
得到两类的均值
降维后的每类样例的均值：
$${\mu }_{j1}=\frac{{\sum }_{i=1}^{n1}{y}_i}{n_1}=w^T{\mu }_1$$
$${\mu }_{j2}=\frac{{\sum }_{i=1}^{n2}{y}_i}{n_2}=w^T{\mu }_2$$
目标1：将降维后的各类样本的中心点的距离尽量远
$$\Delta {\mu }_x=({\mu }_{j1}-{\mu }_{j2})({\mu }_{j1}-{\mu }_{j2}{)}^T=w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w$$
目标2：降维后的相同类样本的数据点的距离应尽量近，即距离中心点的距离应当尽量近记为Δμ
$$\Delta \mu =\frac{{\sum }_{i=1}^n(y_i-{\mu }_j)(y_i-{\mu }_j{)}^T}{n}$$
所以新的目标函数:
$$j(w)=\frac{\Delta {\mu }_x}{s_1^2+s_2^2}$$
其中：
$$s_1^2=\sum _{i=1}^n(y_i-{\mu }_{j1})(y_i-{\mu }_{j1}{)}^T=\sum _{i=1}^n(w^T{x}_i-w^T{\mu }_1)(w^T{x}_i-w^T{\mu }_1{)}^T=\sum _{i=1}^n{w}^T(x_i-{\mu }_1)(x_i-{\mu }_1{)}^{T}w$$
$$s_2^2=\sum _{i=1}^n(y_i-{\mu }_{j2})(y_i-{\mu }_{j2}{)}^T=\sum _{i=1}^n(w^T{x}_i-w^T{\mu }_2)(w^T{x}_i-w^T{\mu }_2{)}^T=\sum _{i=1}^n{w}^T(x_i-{\mu }_2)(x_i-{\mu }_2{)}^{T}w$$
散列矩阵：
$$s_i=(x-{\mu }_i)(x-{\mu }_i{)}^T$$
类内散布矩阵：
$$s_w=s_1+s_2$$
$$s_i^2=w^T{s}_{i}w$$
$$s_1^2+s_2^2=w^T{s}_{w}w$$
类外散布矩阵：
$$\Delta {\mu }_x=w^T{s}_{B}w$$
所以最后的目标函数：
$$j(w)=\frac{w^T{s}_{B}w}{w^T{s}_{W}w}$$
因分子分母可任意取值，不妨让分母的长度为1
然后最大化目标函数
拉格朗日乘数法：
$$c(w)=w^T{s}_{B}w-j(w^T{s}_{W}w-1)$$
求导得：
$$s_{B}w=j{s}_{W}w$$
两边乘的逆得
$$s_W^{-}1s_{B}w=jw$$
此时w为的特征向量，j为特征值，利用PCA中求特征向量的方法就能求出w

LLE（局部线性嵌入）

LLE是一种非线性降维的方法，使降维后的数据较好的保持原有的流行结构
假设数据集为mn的矩阵（m为样本数，n为特征数）
将其降维为mb维的数据
目标：计算出样本点的局部重建权值矩阵w

步骤一

计算出每个样本点的k个邻近点，（这里可以使用knn算法）

步骤二

定义重构误差：
$$\Delta （w）=\sum _{i=1}^n|x_i-\sum _{j=1}^k{w}_{ij}{x}_j{|}^2$$
局部协方差矩阵：
$$c_{jk}=(x-{\alpha }_j)(x-{\alpha }_k)$$
得到一个k*k的方阵，其中x为一个特定的点
所以最小化并且满足
得到：
$$w_j=\frac{{\sum }_{n=1}^k{c}_{jn}^{-}1}{{\sum }_{l=1}^k{\sum }_{m=1}^k{c}_{lm}^{-}1}$$
对$w_j$的解释：
分母为局部协方差矩阵的所以元素的倒数的加和
分子的详细解释：
因协方差为$k\ast k$的方阵，例如对于j为1时，

步骤三

对于样本点映射到低维空间后，应满足的映射条件：
$$minj(y)==\sum _{i=1}^n|y_i-\sum _{j=1}^k{w}_{ij}{y}_j{|}^2$$
以上公式可以转换成为：
$$j(y)=\sum _{i=1}^n\sum _{j=1}^k{M}_{ij}(y_i\ast y_j)$$
$$M=(I-w{)}^T(I-w)$$ 为单位向量
和应满足的限制条件：(中心化处理)，
最终得到等式
这里通过PCA中的方法求出特征值和特征向量和
然后将特征值由小到大排列，第一个特征值几乎接近为0，舍去，然后取第2到b+1的特征值对应的特征向量组成新的向量
新数据通过得到