PCA和Fisher线性判别总结

主成份分析(Principal Component Analysis, PCA)是数据降维领域中最经典的降维方法之一。 PCA的降维的核心就在于将原始n维数据投影到k个单位标准正交基上，为了保证投影后的数据包含足够的信息，PCA要求投影后每一维特征的方差足够大，因为方差越大，投影到低维后重叠越少。同时，PCA也要求特征之间互相独立，这样可以保证不同特征间含有更少的重复信息。
参考：PCA的详细介绍

Fisher线性判别(Fisher’s Linear Discriminant )是两类线性分类中的一种基础模型。Fisher线性判别的核心是将原始数据投影到一维空间中，使得原本线性不可分的数据变得线性可分。Fisher线性判别的关键在于最大化一个准则函数J，准则函数J是由类间散度比上类内散度得到的。最大化准则函数J是要求类内散度足够小而类间散度足够大。小的类内散度保证了当前类中的数据足够紧密。大的类间散度保证了这两个类有足够的可分性。类间散度定义为投影后两类样本均值差的平方。类内散度定义为两类样本投影后与各自均值差的和的平方和。
参考：Fisher线性判别详细介绍

之所以将这两个算法放到一起来讲，是因为这两个算法虽然解决的是不同的问题，但是都是通过将原始数据投影到低维空间的方式来解决的。