- Tf-id f(“Tf”和“idf”两部分合在一起)
- 人们在搜索引擎中输入的关键词,与计算机中存储的海量数据文本之间的关联度的量化标准
- TF:一个特定的单词在文档中出现的频率
- IDF:这个单词在其他文档中是否出现。
- 分母:所有文档的个数
- 分子:包含这个特定搜索词的文档的个数
- Tf-idf:两者相乘
- 多个关键词:多个Tf-idf相加
- Term-Document Matrix:单词-文本矩阵。处理文本时,不处理一堆文本,而是处理一个矩阵:每一列代表一篇文章,每一行代表一个关键词
- Vector-Space Model(向量空间模型)
- t篇文章的关键词出现次数这样的量化形式可以由P矩阵中的各个向量表示
- 当把文章定义为向量时就可以比较两篇文章:计算向量之间的余弦值,越大,越相似,可以文档聚类
- 困难点:
- 近义词:同样的意思可以有不同的词,可能导致recall低
- 多义词:“苹果”是水果还是电子产品,可能导致precision低
- 解决办法:(类似于SVD奇异值分解,类似于PCA)将维度压缩,浓缩信息,在新的空间中判断更加精准
- Latent Semantic Analysis(LSA,隐含语义分析)
- T、D:正交阵
- S:对角阵
- r:矩阵X的秩rank
- X·X^T矩阵中的第i行、第j列,就是原来X矩阵中第i行和第j行的内积结果
- 换句话说,现在可以用TS矩阵中的第i行代表第i个单词,即用新空间中的坐标来代替原来的term和documents。(在后面会有非常好的特性)
- Latent Semantic Analysis(例子)
- 初始矩阵
- 分解
- 秩k近似(降维)
- 只保留信息量最大的(类似于PCA中“特征值”最大的)两个(行、列)
- 新得到的X是原来的X的一个误差最小的近似
- 关键词二维可视化图
- 某两个关键词距离近:从原点连到某点的向量与另一个向量之间的夹角小
- 文档二维可视化图
- 如果分类的话,与人类分类结果十分接近
- 文档余弦相似度
- Transformed:做了LSA1操作后,属于相同类型的文档之间相似度显著提升,余弦更接近1
- 查询
- 初始矩阵
8.2隐含语义分析
于 2023-12-04 16:38:26 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)