PCA原理与应用-DSS作业（网上搜集资料整理）

一、主成分分析原理
1、PCA的基本概念
主成分分析（Principal Component Analysis，以下简称：PCA）是一种通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。
这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。最终为了保证这些主成分所含的信息不互相重叠，要求它们之间应互不相关。
适用PCA的数据特点：
（1）变量的个数太多，造成维度灾难；
由于变量个数增加，随之需要估计的参数个数也在增加，在训练集保持不变的情况下待估参数的方差也会随之增加，导致参数估计质量下降。
（2）变量之间存在较高相关性，出现数据冗余、信息重叠。
观察变量的相关系数矩阵，一般来说如果相关系数矩阵中多数元素绝对值大于0.5，非常适合做主成分分析，但也不是说小于的就不可以用这种方法。

2、PCA的优缺点：
优点：
（1）可以对高维数据进行降维减少预测变量的个数；
（2）经过降维除去噪声，其最直接的应用就是压缩数据，具体的应用有：信号处理中降噪，数据降维后可视化等。
（3）PCA是无监督学习，完全无参数限制，在计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。
（4）各主成分之间正交，可以消除原始数据成分间的相互影响。
（5）计算方法简单，易于在计算机上实现。
缺点：
（1）贡献小的主成分往往可能含有对样本差异的重要信息；
（2）特征矩阵的正交向量空间是否唯一有待讨论；
（3）在非高斯分布的情况下，PCA方法得出的主成分可能并不是最优的，此时在寻找主成分时不能将方差作为衡量重要性的标准；
（4）如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。

3、PCA的主要思想：
是将原先的 nnn 维特征映射到 kkk 维上（即：将数据变换到选定基上），这 kkk 维是全新的正交特征也被称为 主成分 ，是在原有 nnn 维特征的基础上重新构造出来的 kkk 维特征，满足以下两个条件：
（1）保证最大化样本方差（即：尽量分散。我们认为，对于一组数据，如果它在某一坐标轴上的方差越大，说明坐标点越分散，则该属性能够比较好的反映源数据。）；
（2）保证各个基要正交（即： kkk 维特征表示的信息要互不相关，若单纯按方差选定基，则选定的基存在很大的相关性）。

补充：
数据降维
降维 ：是一种应用广泛的对高维度特征数据的预处理方法。降维的算法有很多，比如：奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。
降维的目的 ：
（1）将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的；
（2）在一定的信息损失范围内，可以为我们节省大量的时间和成本。
降维的方法 ：
特征降维一般分为两类：特征选择和特征抽取。
1、特征选择：就是简单的从高纬度的特征中选择其中一个子集来作为新的特征；
2、特征抽取：就是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。
降维的优点：
1、使得数据集更易使用。
2、降低算法的计算开销。
3、去除噪声。
4、使得结果容易理解。

二、PCA的主要应用
PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。
在主成分分析中，应保证：
（1）所提取的前几个主成分的累计贡献率达到一个较高的水平；
（2）对这些被提取的主成分都能够给出符合实际背景和意义的解释。