看到了很多关于LDA的技术贴,良莠不齐。所以才写了一篇这个,可能有很多细节没有写清楚,大家可以参考一下论文和其他人的博客,也可以在下面留言。
1.线性判别分析的目标
类间散度矩阵小,类内散度矩阵大。这个意思就是,同类的点越聚集,而不同类的点越分散。前提条件为同一类的点符合高斯分布。
2.散度矩阵的定义
C类数据,n个样本点,X为dxn的矩阵,每一个数据点都有d个维度。n_i表示第i类的样本点个数。u_i表示第i类样本点的平均值,注意是对第i类所有样本的同一个维度取平均,而u为所有n个样本点的平均,这里仍然是维度的平均组成的向量。
这里需要说明一下,max rank(Sb) = c-1, max rank(Sw) = n-c.
当然也还有总散度矩阵St。St = Sw + Sb 。(公式就不放了)
3.LDA
这里降维主要是利用W(dxd’)对X进行操作。Y = W_T * X 转化成d’*n的矩阵。这里的d’是小于d的,这样才起到降维的作用。降维不是目的,只是手段,评价LDA的好坏的方法还是要回到第一条,使得降维后的样本点类间散度矩阵大,类内散度矩阵小。