fastica和pca区别_PCA与ICA

关于机器学习理论方面的研究，最好阅读英文原版的学术论文。PCA主要作用是数据降维，而ICA主要作用是盲信号分离。在讲述理论依据之前，先思考以下几个问题：真实的数据训练总是存在以下几个问题：

①特征冗余情况，比如建立文档-词频矩阵过程中，"learn"和"study"两个特征，从VSM(计算文档向量间的相似度，Lucene评分机制由此推导而来)角度来看，两者独立，但是从语义角度看，是冗余的……

②特征强相关性，两个特征间具有很强的相关性，需要去除其中一个……

③训练样本数远小特征数，容易造成过拟合……

还有一类情况：在鸡尾酒宴会上，有n个嘉宾，在会场的不同角落里，布置n个麦克风。源信号是每个人的声音，n个麦克风接收到的信号混合声音，如何把声音还原分离出来？

以上两类大的情况，第一大类，涉及到数据降维，第二类涉及到盲信号分离。先谈第一类，关于理论上的深入论述，不探讨(能够搞理论创新的人，都是很少的)，只说明个人理解。PCA的计算步骤：①计算各个特征维度的均值；②更新x = x - u，就是去均值化，让均值为0；③计算各个特征的variance④归一化处理：x = x / variance；⑤计算协方差矩阵(方阵)⑥计算协方差矩阵的特征值和特征向量，把特征值按照降序排列，依次对应特征vector,取前k个列特征向量；⑦把归一化处理后的矩阵数据投影到列特征向量，就是最终结果。整个过程非常简单，求协方差矩阵的特征向量就是最后理想的结果。理论依据：①最大方差理论②最小平方误差理论③坐标轴相关度理论。说白了，PCA就是找出所有两两相互正交的坐标轴(投影轴的方向向量，对应协方差矩阵的特征向量)，这些坐标轴具有这样的特性，样本点在坐标轴上的投影(由于均值已经去零化，所以投影在轴上的点均值也为零)距离最远(均值为0的情况下，就是具有最高的方差，对应协方差矩阵的特征值)。这是从几何角度来理解，从数学角度理解，就是找出协方差矩阵的特征值(对角阵)，按降序排列，取前k个对应的特征向量，剔除不重要的特征。关于PCA最经典的解读，可以观看吴恩达的公开课，或者下载讲义和学习笔记。按照第一种理论来理解：

在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好 。因此我们认为，最好的k为特征是将n为样本点转换成k为后，每一维上的样本方差都很大。比如下图有5个样本点：(已经做过预处理，均值为0,特征方差归一)

下面将样本点投影到某一维上，这里用一条过原点的直线表示(前处理的过程实质是将原点移到样本点的中心点)。

假设我们选择两条不同的直线作投影，那么左右两条中哪个好呢？根据我们之前的方差最大化理论，左边的好，因为投影后样本点之间的方差最大。这里先解释一下投影的概念：