信息检索（七）-- 基于潜在语义分析 (LSI）的信息检索模型

基于潜在语义分析 (LSI）的信息检索模型

（本章课上涉及到的内容 too mathy，这里去掉了不常用的过于复杂的数学内容）

1、用co-occurence来衡量词和词的相似度

• term-term matrix: 词语的共现
  每次选定一个中心词，有一个滑动的小窗，看context word落在以中心词为中心的小窗中。
  
  举个栗子：
  
• term-document matrix：词语在不同的文档中出现了多少次，可以用它来做Latent Semantic Analysis(LSI)
  举例：
  
  
  但是，这样的term-term矩阵和term-doc矩阵太过庞大且稀疏，所以我们要对它进行特征降维。

2、SVD分解
先复习一下奇异值分解：

酉矩阵的定义：

对term-doc矩阵做奇异值分解：

只保留前k个最大的特征值，后面的特征值置零：

在U矩阵中，term已经缩小为了k维；在V矩阵中，doc已经缩小为了k维。
同样的，对term-term矩阵也可以做同样的操作，取最大的k个特征值：

矩阵的相似度

F-范数：

经过SVD分解之后的矩阵Ak由于只保留了k个最大的特征值，已经丢失了部分信息，因此只是原矩阵A的近似。Ak和A的距离为：