线性判别分析 LDA总结

看到了很多关于LDA的技术贴，良莠不齐。所以才写了一篇这个，可能有很多细节没有写清楚，大家可以参考一下论文和其他人的博客，也可以在下面留言。

1.线性判别分析的目标

类间散度矩阵小，类内散度矩阵大。这个意思就是，同类的点越聚集，而不同类的点越分散。前提条件为同一类的点符合高斯分布。

2.散度矩阵的定义

C类数据，n个样本点，X为dxn的矩阵，每一个数据点都有d个维度。n_i表示第i类的样本点个数。u_i表示第i类样本点的平均值，注意是对第i类所有样本的同一个维度取平均，而u为所有n个样本点的平均，这里仍然是维度的平均组成的向量。

这里需要说明一下，max rank(Sb) = c-1, max rank(Sw) = n-c.

当然也还有总散度矩阵St。St = Sw + Sb 。（公式就不放了）

3.LDA

这里降维主要是利用W（dxd’）对X进行操作。Y = W_T * X 转化成d’*n的矩阵。这里的d’是小于d的，这样才起到降维的作用。降维不是目的，只是手段，评价LDA的好坏的方法还是要回到第一条，使得降维后的样