数据降维方法小结

　　数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种从高维特征空间向低纬特征空间映射的思路。

数据降维的目的

　　数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。

数据降维的方法

　　主要的方法是线性映射和非线性映射方法两大类。

线性映射

　　线性映射方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis）

PCA方法简介

　　主成分分析的思想，就是线性代数里面的K-L变换，就是在均方误差准则下失真最小的一种变换。是将原空间变换到特征向量空间内，数学表示为$Ax=\lambda x$。
　　特征向量和特征值的意义：分别表示不同频率及其幅度。
　　特征向量和特征值的直白理解：想在特征空间内找到某个向量$x$，使得其满足$Ax=\lambda x$。这个式子可以这样理解，$A$是空间内的运动，$x$经过运动$A$后，保持方向不变（仍是$x$的方向），只是大小伸缩了$\lambda$倍。这样我们找到了$k$个这样的向量$\beta_k$。
　　$A*[\beta_1, \beta_2, ... ,\beta_k]=[\lambda_1\beta_1, \lambda_2\beta_2, ... , \lambda_k\beta_k]$。
　　当然在实际用时，取最大的前几个足矣。
　　PCA计算是用的协方差矩阵$U$的分解特征向量。
　　1. 样本矩阵去中心化（每个数据减去对应列的均值），得到$A_{m,n}$。$A_{m,n}$表示$m$个$n$维的数据。
　　2. $U$表示样本矩阵$A$的协方差矩阵($A^T*A$=$U$，因为去中心化后的$A^T*A$即协方差）
　　$E(X-X_0)(Y-Y_0)=\sum_{i=1}^m \frac{1}{m} (x_i-x_0)(y_i-y_0)$。
　　期望的定义：$E(x)=\sum x_i * p(x_i)$
　　3. $U=[\beta]*\Lambda*[\beta]^{-1}</$