TF-IDF算法(原理+python代码实现）

目录

前言

一、TF-IDF的由来

二、什么是TF-IDF？

2.1 TF(Term Frequency)

2.2 IDF(Inverse Document Frequency)

2.3 TF-IDF(Term Frequency-Inverse Document Frequency)

三、TF-IDF应用

四、代码实现

4.1 常规Python实现TF-IDF

4.2 NLTK实现TF-IDF

4.3 Jieba实现TF-IDF算法

五、TF-IDF不足之处

六、TF-IDF变种

5.1 通过对数函数避免 TF 线性增长

5.2 标准化解决长文档、短文档问题

5.3 对数函数处理 IDF

5.4 查询词及文档向量标准化

六、参考文章

---

前言

最近在读一篇论文《Mining Quality Phrases from Massive Text Corpora》，其中涉及到了TF-IDF和随机森林算法（Random Forest），顾对两个算法进行巩固加深记忆，这篇文章主要是讲TF-IDF算法，行文过程中参考了几篇博文，做了如下总结。

一、TF-IDF的由来

把查询关键字（Query）和文档（Document）都转换成 “向量”，并且尝试用线性代数等数学工具来解决信息检索问题，这样的努力至少可以追溯到 20 世纪 70 年代。

1971 年，美国康奈尔大学教授杰拉德 · 索尔顿（Gerard Salton）发表了《SMART 检索系统：自动文档处理实验》（The SMART Retrieval System—Experiments in Automatic Document Processing）一文，文中首次提到了把查询关键字和文档都转换成 “向量”，并且给这些向量中的元素赋予不同的值。这篇论文中描述的 SMART 检索系统，特别是其中对 TF-IDF 及其变种的描述成了后续很多工业级系统的重要参考。

1972 年，英国的计算机科学家卡伦 · 琼斯（Karen Spärck Jones）在《从统计的观点看词的特殊性及其在文档检索中的应用》（A Statistical Interpretation of Term Specificity and Its Application