线性判别分析

       LDA的全称Linear Discriminant Analysis，线性判别分析。

    原理是，将带标签的数据投影到维度更低的空间，使投影后的点形成按类别区分，相同类别的点在投影后的空间中更接近，异类尽可能远。

二分类：

    给定数据集D,分别为对应类i的集合、均值向量、协方差矩阵，若将数据投影到直线w上，，则类的中心为，协方差为。

    最大化目标。

    定义类内散度矩阵，已知可求。

    定义类间散度矩阵，已知可求。

    可表示为：。

    对分母归一化，固定w，使w唯一确定。

    对目标函数J（w）化简，并加入约束可得：

    构造：

    W为的特征向量，为特征值。

由于

    由于数据x为K维的特征，u对应为k维，在二分类中，为分类到一维直线上的类均值，可令，为一个与w相关的数。

则可表示为：

带入上式：

    已知对w放缩任意倍数，结果依然成立，故直接令。

结论：

 

 

多分类：假设有C个类别，x数据L个熟悉，投影到K个基向量。

    K个向量表示为，结果为

       ，

    类内散度矩阵大体不变，其中表示类别i的样本点相对于该类中心的散列程度，定义。

     而二分类中的类间散度矩阵需要转换，二分类中考虑的是两个均值点的情况，现在考虑多个类的均值点相对与样本中心的散列情况。

     

    ，固定分母为1，如上，最后得出，即。

 

    如上，w为的特征向量，取前k个特征向量特征向量构成W。

    对于K-分类的一个分类问题，会有K个线性函数