《数学之美（第一版）》笔记 —— 第11章

最新推荐文章于 2022-05-03 18:09:41 发布

布丁的自我修养

最新推荐文章于 2022-05-03 18:09:41 发布

阅读量201

点赞数

分类专栏：数学之美

本文链接：https://blog.csdn.net/budding0828/article/details/107940190

版权

11 篇文章 0 订阅

订阅专栏

几个概念：
- 关键词的频率/单文本词频（Term Frequency，TF）：关键词次数除以网页的总字数。
- 停止词（Stop Word）：度量时不需要考虑的词。例如中文的“的，和，中”等。
- 逆文本频率指数（Inverse Document Frequency，IDF）： $IDF=log(D/D_{w})$ ，其中 $D$ 是全部网页数，而 $D_{w}$ 是关键词出现过的网页数。作为每个搜索关键词的权重。（例如“原子能的应用”中，“原子能”的权重需要更高，而“的”以及“应用”的权重应该更低。假定所有网页数量 $D = 100$ ，而“的”在所有网页中都出现，那么他的 $I D F = l o g (100 / 100) = 0$ ，而假设“原子能”出现次数为20，那么它的权重就是 $I D F = l o g (100 / 20) = 0.6989$ ）
- 所谓的IDF，其实就是给定一个特殊条件下关键词的概率分布的交叉熵。
相关性计算公式变为：TF-IDF

关注