033. (8.27-9.1) 主成分分析

降维 可以 作为预处理步骤，在数据应用到其他算法之前清洗数据。有应用于无标签数据的常见降维方法：

主成分分析、因子分析（假设隐变量 且 数据是这些隐变量和某些噪声的线性组合）、独立成分分析（假设数据为多个数据源的混合观测结果）。

主成分分析（PCA） 是一种非常基础的降维算法，也是应用最广的无监督算法之一，尤其适用于数据可视化、噪音过滤、特征抽取（不是特征选择）和特征工程等领域。

通过PCA进行降维处理，我们就可以同时获得决策树和SVM的优点：一方面，得到了和决策一样简单的分类器，同时分类间隔和SVM一样好。

简介

以两变量为例，在主成分分析中，一种量化两变量间关系的方法是在数据中找到一组主轴，并用这些主轴来描述数据集。


这些向量表示数据主轴，上图的箭头长度表示输入数据中各个轴的“重要程度”——更准确地说，它衡量了数据投影到主轴上的方差的大小。每个数据点在主轴上的投影就是数据的“主成分”。

PCA 移动坐标轴，第一个新轴选择的是原始数据中方差最大的方向，第2个新轴 选择和第一个 轴正交且具有次大方差的方向。该过程重复，重复次数为原始数据中特征的数目，后续选出有代表性的成分。

在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。

降维必定舍去部分信息，但一般有两个好处：1.使样本采样密度增大；2.当数据受到噪声影响时，最小特征值所对应的特征向量往往与噪声有关，将它们舍弃在一定程度上能起到去噪的效果。

缺陷：

1.经常受数据集的异常点影响是 PCA 的主要弱点。
2.PCA便于通用实现，但是很难实现个性化的优化。
3.PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。

部分数学理解

（对PCA降维问题）理解：
最近重构性：因为要用低