8.2隐含语义分析

• Tf-id f(“Tf”和“idf”两部分合在一起)

  

  

  • 人们在搜索引擎中输入的关键词，与计算机中存储的海量数据文本之间的关联度的量化标准
  • TF：一个特定的单词在文档中出现的频率
  • IDF：这个单词在其他文档中是否出现。
    • 分母：所有文档的个数
    • 分子：包含这个特定搜索词的文档的个数
  • Tf-idf：两者相乘
  • 多个关键词：多个Tf-idf相加
  • Term-Document Matrix：单词-文本矩阵。处理文本时，不处理一堆文本，而是处理一个矩阵：每一列代表一篇文章，每一行代表一个关键词
• Vector-Space Model(向量空间模型)

  

  

  • t篇文章的关键词出现次数这样的量化形式可以由P矩阵中的各个向量表示
  • 当把文章定义为向量时就可以比较两篇文章：计算向量之间的余弦值，越大，越相似，可以文档聚类
  • 困难点：
    • 近义词：同样的意思可以有不同的词，可能导致recall低
    • 多义词：“苹果”是水果还是电子产品，可能导致precision低
  • 解决办法：（类似于SVD奇异值分解，类似于PCA）将维度压缩，浓缩信息，在新的空间中判断更加精准
• Latent Semantic Analysis（LSA，隐含语义分析）

  

  • T、D：正交阵
  • S：对角阵
  • r：矩阵X的秩rank
  • X·X^T矩阵中的第i行、第j列，就是原来X矩阵中第i行和第j行的内积结果
  • 换句话说，现在可以用TS矩阵中的第i行代表第i个单词，即用新空间中的坐标来代替原来的term和documents。(在后面会有非常好的特性)
  • Latent Semantic Analysis（例子）

    

    • 初始矩阵

      

    • 分解

      

      

    • 秩k近似(降维)

      

      • 只保留信息量最大的（类似于PCA中“特征值”最大的）两个（行、列）
      • 新得到的X是原来的X的一个误差最小的近似
    • 关键词二维可视化图

      

      • 某两个关键词距离近：从原点连到某点的向量与另一个向量之间的夹角小
    • 文档二维可视化图

      

      • 如果分类的话，与人类分类结果十分接近
      • 文档余弦相似度

        

        • Transformed：做了LSA1操作后，属于相同类型的文档之间相似度显著提升，余弦更接近1
    • 查询