LDA算法与PCA算法

PCA算法

• PCA—本质上是将投影后的数据尽可能分散（方差最大），高维数据在低维空间上面（各个维度线性无关）的投影
• 参考网址PCA讲解

• 算法实现的流程

• 给定m条n维的数据
  • 将数据排列为n*m的矩阵
  • 将矩阵中每行元素分别减去每行的均值（零均值化）
  • 求出协方差矩阵
  • 求出协方差矩阵对应的特征值与特征向量
  • 将特征值的大小按行进行排序，取前k列组成矩阵P
  • 通过 Y = PX 对数据进行降维

LDA算法

3. LDA算法流程
   输入：数据集 D = （$x_1,y_1$）,($x_2,y_2$）,($x_3,y_3$）···($x_m,y_m$）,其中，任意样本 $x_i$为n维向量y = {$C_1,C_2,C_3\cdot \cdot \cdot C_n$},降维到的维度为d
   输出：降维后的数据集 $D^{\prime }$

   1）计算类内散度矩阵$S_w$

   2）计算类间散度矩阵 $S_b$

   3）计算矩阵;$S_w^{-1}{S}_b$

   4）计算矩阵$S_w^{-1}{S}_b$ 的特征值与特征向量，按从小到大的顺序选取前 d个特征值和对应的 d个特征向量 ，得到投影矩阵$W$

   5）对样本集中的每一个样本特征$x_i$，转化为新的样本 $z_i=W^{T}x$

   6）得到输出样本集 D = （$z_1,y_1$）,($z_2,y_2$）,($z_3,y_3$）···($z_m,y_m$）

小结：

• LDA算法既可以用来降维，也可以用来分来，但是目前来说，LDA主要用于降维，在进行与图像识别相关的数据分析时，LDA是一个有力的工具。下面总结一下LDA算法的优缺点。

共同点

- 都是用于降维
- 都用的是矩阵分解的思想
- 使用对象必须符合高斯分布

不同点

- LDA是有监督学习，可以使用先验知识，类内散度矩阵呢与类间散度矩阵
- PCA不能用于数据方差不明显的情况
- PCA降维没有维度限制