机器学习实战笔记-12-降维方法

PCA(Principal Component Analysis)与SVD

常用的降维方法有主成分分析(PCA)，因子分析(Factor Analysis)，独立成分分析(ICA)。

1. PCA优点：降低数据的复杂性；缺点：不一定非要用，且可能损失有用信息。适用于数值型数据

2. PCA算法概要：
   ```python
   选择能覆盖数据，能获得最大方差的直线，为第一个坐标轴(一团数据的长轴)

   选择与第一个坐标轴垂直的第二个坐标轴

   去除平均值

   计算数据集的协方差矩阵

   计算协方差矩阵的特征值和特征向量

   将特征值从大到小排序

   保留最上面的N个特征向量

   将数据转换到上述N个特征向向量构建的新空间中
   ```

3. SVD优点：简化数据，去除噪声，提高算法的结果；缺点：数据的转换可能难以理解。适用于数值型数据。

转载于:https://www.cnblogs.com/charleechan/p/11434801.html