LDA

机器学习-LDA(线性判别降维算法) LDA原理及算法流程，重点讲降维方面的应用，与PCA进行了区别
机器学习–LDA（分类）Fisher 线性判别
降维的基本流程
输入：数据集$D=(x_1,y_1),(x_2,y_2),...,((x_m,y_m))$,其中任意样本$x_i$为n维向量，$yi\in C_1,C_2,...,C_k$，降维到的维度d。
输出：降维后的样本集$D$
　1) 计算类内散度矩阵$S_w$
　2) 计算类间散度矩阵$S_b$
　3) 计算矩阵$S_w^{-1}{S}_b$
　4）计算$S_w^{-1}{S}_b$的最大的d个特征值和对应的d个特征向量$(w_1,w_2,...w_d)$,得到投影矩阵W，即求$S_w$，$S_b$的广义特征值和特征向量。
　　5) 对样本集中的每一个样本特征$x_i$,转化为新的样本$z_i=W^T{x}_i$
　　6) 根据得到输出样本集$D^{\prime }=(z_1,y_1),(z_2,y_2),...,((z_m,y_m))$。

分类的基本流程，也称为Fisher线性判别
　1) 计算类内散度矩阵$S_w$
　2) 计算类间散度矩阵$S_b$
　3) 计算矩阵$S_w^{-1}{S}_b$
　4）计算$S_w^{-1}{S}_b$的最大的d个特征值和对应的d个特征向量，即求$S_w$，$S_b$的广义特征值和特征向量$(w_1,w_2,...w_d)$,得到投影矩阵W。
　5) 分类器的偏移量$B=-W^T\frac{{\mu }_1+{\mu }_2}{2}$
　6)判别函数：$y=W^T+B$。
　7)将测试数据集 X = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x d , y d ) } X=\{(x_1,y_1),(x_2,y_2)...(x_d,y_d)\} X={(x1​,y1​),(x2​,y2​)...(xd​,yd​)}中每个测试样本分别代入判别函数。若$y>0$,$x$数据类别一，若$y<0$,$x$属于类别二。

Matlab 降维方法工具包 github from this website
Currently, the Matlab Toolbox for Dimensionality Reduction contains the following techniques:
Principal Component Analysis (PCA)
Probabilistic PCA
Factor Analysis (FA)
Classical multidimensional scaling (MDS)
Sammon mapping
Linear Discriminant Analysis (LDA) 等34种降维方法

浙江大学Prof. 蔡登 写的LDA代码