TF-IDF入门

TF-IDF 是一种统计措施，用于评估单词与文档集合中文档的相关性。这是通过乘以两个指标完成的：一个单词在文档中出现多少次，以及单词在一组文档中的反向文档频率。

它有许多用途，最重要的是在自动文本分析中，对于自然语言处理（NLP）机器学习算法中的单词评分非常有用。

TF-IDF（术语频率反向文档频率）被发明用于文档搜索和信息检索。它的工作方式是按单词在文档中出现的时间成比例增加，但被包含单词的文档数所抵消。因此，在每个文档中常见的单词，例如，什么，如果，排名低，即使它们可能出现很多次，因为它们对文档意义并不特别大。

但是，如果Bug 一词在文档中多次出现，而在文档中未多次出现，则可能意味着它非常相关。例如，如果我们所做的是试图找出某些 NPS 响应属于哪些主题，则"Bug"一词最终可能会绑定到主题可靠性，因为包含该单词的大多数响应都与该主题有关。

如何计算 TF-IDF？

通过乘以两个不同的指标来计算文档中单词的 TF-IDF：

term frequency 。有几种方法可以计算此频率，最简单的方法是单词出现在文档中的实例的原始计数。然后，有办法调整频率、文档长度或文档中最频繁单词的原始频率。

inverse document frequency。这意味着，单词在整个文档集中有多常见或罕见。它离 0 越近，单词越常见。此指标可以通过计算文档总数、将其除以包含单词的文档数以及计算对数来计算。

因此，如果单词非常常见，并且出现在许多文档中，则此数字将接近 0。否则，它将接近 1。
将这两个数字相乘会导致文档中单词的 TF-IDF 分数。分数越高，该单词在该特定文档中越相关。

用更正式的数学术语来说，文档集 D 中文档中单词 t 的 TF-IDF 分数计算如下：

TF-IDF 的应用

确定单词与文档（TD-IDF）的相关性在很多方面都很有用，例如：

信息检索
TF-IDF 是为文档搜索而发明的，可用于提供与所搜索内容最相关的结果。想象一下，你有一个搜索引擎，有人寻找勒布朗。结果将按相关性顺序显示。这就是说， 最相关的体育文章将排名更高， 因为 Tf - idf 给勒布朗这个词一个更高的分数。

您遇到的每个搜索引擎都可能在其算法中使用 TF-IDF 分数。

关键字提取
TF-IDF 也可用于从文本中提取关键字。如何？文档中得分最高的单词与该文档最相关，因此它们可以被视为该文档的关键字。非常简单。

最后一句话

了解 TF-IDF 的工作原理非常有用，以便更好地了解机器学习算法的工作原理。虽然机器学习算法传统上可以更好地与数字工作，但 TF-IDF 算法通过分配数值或矢量来帮助它们破译单词。这在机器学习中是革命性的，尤其是在与 NLP 相关的领域，如文本分析。

在机器学习的文本分析中，TF-IDF 算法可帮助将数据分类，并提取关键字。这意味着简单、单调的任务（如标记支持票证或反馈行和输入数据）可以在几秒钟内完成。

每个人都想知道谷歌如何在几秒钟内提供与您的搜索相关的信息？现在你知道了文本矢量化将文档中的文本转换为数字，因此 TF-IDF 算法可以按相关性顺序对文章进行排序。

参考

What is TF-IDF?
https://monkeylearn.com/blog/what-is-tf-idf/