特征提取方法

潜在语义索引

潜在语义索引（Latent Semantic Indexing,以下简称LSI），也叫Latent Semantic Analysis ,简称LSA。本文中称为LSI。LSI是一种主题模型，他是利用SVD奇异值分解方法来获得文本的主题的。奇异值分解详见点击打开链接。

LSI方法可以用作特征降维、文本相似度计算等。

优缺点：

（1）SVD是非常耗时的，主题模型非负矩阵分解（NMF）可以很好的解决该问题；

（2）主题值的选取对结果有较大的影响，很难选择适合的k值。层次狄利克雷过程（HDP）可以自动选择主题个数；

（3）LSI得到的不是一个概率模型，缺乏统计基础，结果难以解释。PLSA和LDA是基于概率分布的主题模型来代替基于矩阵分解的主题模型。

主成分分析

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这