机器学习笔记：主成分分析

机器学习：主成分分析

---

1 简介

  降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。
   降维具有如下一些优点：

（1）使得数据集更易使用
（2）降低算法的计算开销
（3）去除噪声
（4）使得结果容易理解

---

2 降维技术

  这里介绍三种降维方法，分别是主成分分析，因子分析和独立成分分析。
  1.主成分分析法( PrincipalComponentAnalysis, P C A )。在 PCA中,数据从原来的坐标系转换到了新的坐标系,新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复,重复次数为原始数据中特征的数目。我们会发现,大部分方差都包含在最前面的几个新坐标轴中。因此,我们可以忽略余下的坐标轴,即对数据进行了降维处理。

  2.因子分析（Factor Analysis）。在因子分析中,我们假设在观察数据的生成中有一 些观察不到的隐变量(latent variable)。假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少,也就是说通过找到隐变量就可以实现数据的降维。

  3.独立成分分析（Independent Component Analysis, ICA）。ICA假设数据是从N个数据源生成的,这一点和因