机器学习：主题模型：LSA

空间向量模型的缺点

http://blog.csdn.net/pipisorry/article/details/42560331

• Term-Document矩阵
  

上图是一个Term-Document矩阵，X代表该单词出现在对应的文件里，星号表示该词出现在查询(Query)中，当用户输入查询”IDF in computer-based information look up” 时，用户是希望查找与信息检索中IDF（文档频率）相关的网页，按照精确词匹配的话，文档2和3分别包含查询中的两个词，因此应该被返回，而文档1不包含任何查询中的词，因此不会被返回。但我们仔细看看会发现，文档1中的access, retrieval, indexing, database这些词都是和查询相似度十分高的，其中retrieval和look up是同义词。显然，从用户的角度看，文档1应该是相关文档，应该被返回。再来看文档2：computer information theory，虽然包含查询中的一次词information，但文档2和IDF或信息检索无关，不是用户需要的文档，不应该被返回。从以上分析可以看出，在本次检索中，和查询相关的文档1并未返回给用户，而无查询无关的文档2却返回给了用户。这就是同义词和多义词如何导致传统向量空间模型检索精确度的下降。

---

LSA

@@@Indexin By Latent Semantic Analysis (1990;Sccto Deerwesrer)
* LSA将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。LSA的基本思想就是把高维的文档降到低维空间，那个空间被称为潜在语义空间。
* 降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。相比传统向量空间，潜在语义空间的维度更小，语义关系更明确。

结论

尽管基于SVD的LSA取得了一定的成功，但是其缺乏严谨的数理统计基础，而且SVD分解非常耗时。
LSA对一词多义问题依然没有解决，仅仅解决了一义多词。因为LSA将每一个词表示为潜在语义空间中的一个点，因此一个词的多个意义在空间中对于的是一个点，没有被区分。