数据降维--------主成分分析（PCA）算法原理和实现学习笔记

1 主成分分析背景

'''PCA计算步骤（思想是把数据投影到方向向量使数据集的特征向量到方向向量的垂线长度最短）
1.去平均
2.计算协方差矩阵
3.计算协方差矩阵的特征向量和特征值
4.将特征值从小到大排列
5.保留最上面的n个特征向量
6.将数据转换到上述n个特征向量构建新的空间
'''

备注：降维过的方向向量就是新的数据集、特征向量就是数据集维度个数，通过特征向量个数限制降维的维数

在大数据集上进行复杂的分析和挖掘需要很长的时间，数据降维产生更小但保持数据完整性的新数据集，在降维后的数据集上进行分析和挖掘将更有效率

数据降维的意义：

1）降低无效、错误的数据对建模的影响，提高建模的准确性

2）少量且具有代表性的数据将大幅缩减数据挖掘所需要的时间

3）降低存储数据的成本

2主成分分析原理

主成分分析（Principal Component Analysis，PCA）：主成分分析是一种用于连续属性的数据降维方法，它构造了原始数据的一个正交变换，新空间的基地去除了原始空间基底下数据的相关性，只需要使用少数新变量就能够解释原始数据中大部分变量。在应用中通常是选出比原始变量个数少，能够解释大部分数据中的变量的几个新变量，即所谓的主成分，来代替原始变量进行建模。通过线性变化，将原始数据集变化为一组各维度线性无关的表示