LDA线性分类

1.基本思想是将样本从原始空间转化到最好分类空间，以达到分类和降维的效果，投影后保证样本在新的空间有最大的类间距离和最小的类内距离，即样本在该空间中有最佳的可分离性。

2.LDA与前面介绍过的PCA都是常用的降维技术。PCA主要是从特征的协方差角度，去找到比较好的投影方式。LDA更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更大，同一类别的数据点更紧凑。

3.LDA的计算：找到一个向量w，将数据x投影到w上去之后，得到新的数据y。第一，为了实现投影后的两个类别的距离较远，用映射后两个类别的均值差的绝对值来度量。第二，为了实现投影后，每个类内部数据点比较聚集，用投影后每个类别的方差来度量。

4.推导：

类别i的均值：

类别i投影后的均值（实际上等于mi的投影）：

投影后均值差的绝对值：

投影后的方差（这里的y是类别i中数据投影后的数据，即y=w_t * x）：

目标优化函数为：

下面通过展开 m' 和 s' ，定义 S_B 和 S_W ：

优化目标J(w)改写如下，这样是为了方便推导出计算w的方法。

推导过程忽略了，最后推导结果如下：

假设数据是n维特征，m个数据，分类个数为2。那么Sw实际上是每个类别的协方差矩阵之和，每个类别的协方差矩阵都是n*n的，因此Sw是n*n的，m1-m2是n*1的。计算得到的w是n*1的，即w将维特征映射为1维。