三大降维方法

PCA(Principal Component Analysis, 主成分分析)

• 非监督，线性方法
• 通俗理解 就是找出一个最主要的特征，然后进行分析。
• 工作原理：
  1. 找出第一个主成分的方向，也就是数据 方差最大 的方向。
  2. 找出第二个主成分的方向，也就是数据 方差次大 的方向，并且该方向与第一个主成分方向 正交(orthogonal 如果是二维空间就叫垂直)。
  3. 通过这种方式计算出所有的主成分方向。
  4. 通过数据集的协方差矩阵及其特征值分析，我们就可以得到这些主成分的值。
  5. 一旦得到了协方差矩阵的特征值和特征向量，我们就可以保留最大的 N 个特征。这些特征向量也给出了 N 个最重要特征的真实结构，我们就可以通过将数据乘上这 N 个特征向量 从而将它转换到新的空间上。
  6. 为什么正交？
     • 正交是为了数据有效性损失最小
     • 正交的一个原因是特征值的特征向量是正交的

• 优点：降低数据的复杂性，识别最重要的多个特征。
• 缺点：不一定需要，且可能损失有用信息。
• 适用数据类型：数值型数据。
• 学习资料
  • PCA
  • 如何理解主成分分析

LDA(Linear Discriminant Analysis, 线性判别分析)

• 监督，线性方法
• 主要思想： 给定训练集样本，设法将样本投影到一条直线上，使得同类样本到投影点尽可能近，异类样本到投影点尽可能远；在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来确定新样本的分类。

TSNE(T-Distributed Stochastic Neighbour Embedding, T分布和随机近邻嵌入)

• 非线性，给予概率的方法