一些特征选择方法(II)

LDA

PCA

参考：http://blog.codinglabs.org/articles/pca-tutorial.html
假设我们只有a和b两个字段，那么我们将它们按行组成矩阵$X$：

$$X=\begin{pmatrix} a_1 & a_2 & \cdots & a_m \\ b_1 & b_2 & \cdots & b_m \end{pmatrix}$$
然后我们用$X$乘以$X$的转置，并乘上系数$1/m$：

$$\frac{1}{m}XX^\mathsf{T}=\begin{pmatrix} \frac{1}{m}\sum_{i=1}^m{a_i^2} & \frac{1}{m}\sum_{i=1}^m{a_ib_i} \\ \frac{1}{m}\sum_{i=1}^m{a_ib_i} & \frac{1}{m}\sum_{i=1}^m{b_i^2} \end{pmatrix}$$
设我们有 $m$个$n$维数据记录，将其按列排成 $n$乘$m$的矩阵 $X$，设$C=\dfrac{1}{m}XX^T$，则 $C$是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。

协方差矩阵对角化

设原始数据矩阵$X$对应的协方差矩阵为 $C$，而$P$是一组基按行组成的矩阵，设 $Y=PX$，则 $Y$为$X$对 $P$做基变换后的数据。设$Y$的协方差矩阵为 $D$，我们推导一下$D$与 $C$的关系：

$$\begin{array}{l l l} D & = & \frac{1}{m}YY^\mathsf{T} \\ & = & \frac{1}{m}(PX)(PX)^\mathsf{T} \\ & = & \frac{1}{m}PXX^\mathsf{T}P^\mathsf{T} \\ & = & P(\frac{1}{m}XX^\mathsf{T})P^\mathsf{T} \\ & = & PCP^\mathsf{T} \end{array}$$
协方差矩阵C是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：

1）实对称矩阵不同特征值对应的特征向量必然正交。

2）设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于λ，因此可以将这r个特征向量单位正交化。
由上面两条可知，一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量，设这n个特征向量为$e_1,e_2,⋯,e_n$，我们将其按列组成矩阵：

$$E=\begin{pmatrix} e_1 & e_2 & \cdots & e_n \end{pmatrix}$$
则对协方差矩阵 $C$有如下结论：
$$E^\mathsf{T}CE=\Lambda=\begin{pmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \end{pmatrix}$$

PCA算法

总结一下PCA的算法步骤：

设有m条n维数据。

1）将原始数据按列组成n行m列矩阵X

2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值

3）求出协方差矩阵C=1mXXT
4）求出协方差矩阵的特征值及对应的特征向量

5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P

6）Y=PX即为降维到k维后的数据
$LDA$用于降维，和$PCA$有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

　　　　首先我们看看相同点：

　　　　1）两者均可以对数据进行降维。

　　　　2）两者在降维时均使用了矩阵特征分解的思想。

　　　　3）两者都假设数据符合高斯分布。

　　　　我们接着看看不同点：

　　　　1）$LDA$是有监督的降维方法，而$PCA$是无监督的降维方法

　　　　2）$LDA$降维最多降到类别数$k-1$的维数，而$PCA$没有这个限制。

　　　　3）$LDA$除了可以用于降维，还可以用于分类。

　　　　4）$LDA$选择分类性能最好的投影方向，而$PCA$选择样本点投影具有最大方差的方向。