LDA总结（2）- 针对类内协方差矩阵奇异值问题的一些解决方案

类内协方差矩阵奇异值问题产生原因

当类内协方差矩阵 ${\mathbf{S}}_w$ 的秩小于数据的维度时，${\mathbf{S}}_w$ 就会无法进行求逆，此时利用矩阵分解的方式求解LDA降维的转换矩阵时就会失败。
​

类内协方差矩阵奇异值问题解决方案

方案1–使得类内协方差矩阵${\mathbf{S}}_w$可逆（PCA+LDA）

这是一种比较老的解决方案了，但是迄今为止仍然有很大的应用。比较著名的文献为：

http://xueshu.baidu.com/usercenter/paper/show?paperid=5dc1d5cae6c7b715a5e1977c91355b92&site=xueshu_se&hitarticle=1

假定有 $n$ 个训练样本属于 $C$ 个类别，那么类内协方差矩阵${\mathbf{S}}_w$的秩为 $n-C$;${\mathbf{S}}_w$ 可以改写为；
${\mathbf{S}}_w={\mathbf{X}}_w{\mathbf{X}}_w^T$

其中 X w = [ x 1 i − μ i , x 2 i − μ i , . . . , x n C C − μ C ] \bm{X}_{w}=[\bm{x}_{1}^{i}-\bm{\mu}^{i}, \bm{x}_{2}^{i}-\bm{\mu}^{i},..., \bm{x}_{n_{C}}^{C}-\bm{\mu}^{C}] X