LDA总结(2)- 针对类内协方差矩阵奇异值问题的一些解决方案
类内协方差矩阵奇异值问题产生原因
当类内协方差矩阵 S w \bm{S}_{w} Sw 的秩小于数据的维度时, S w \bm{S}_{w} Sw 就会无法进行求逆,此时利用矩阵分解的方式求解LDA降维的转换矩阵时就会失败。
类内协方差矩阵奇异值问题解决方案
方案1–使得类内协方差矩阵 S w \bm{S}_{w} Sw可逆(PCA+LDA)
这是一种比较老的解决方案了,但是迄今为止仍然有很大的应用。比较著名的文献为:
假定有 n n n 个训练样本属于 C C C 个类别,那么类内协方差矩阵 S w \bm{S}_{w} Sw的秩为 n − C n-C n−C; S w \bm{S}_{w} Sw 可以改写为;
S w = X w X w T \bm{S}_{w}=\bm{X}_{w}\bm{X}_{w}^{T} Sw=XwXwT
其中 X w = [ x 1 i − μ i , x 2 i − μ i , . . . , x n C C − μ C ] \bm{X}_{w}=[\bm{x}_{1}^{i}-\bm{\mu}^{i}, \bm{x}_{2}^{i}-\bm{\mu}^{i},..., \bm{x}_{n_{C}}^{C}-\bm{\mu}^{C}] Xw=