NLP 笔记：TF-IDF

 

• TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索和文本挖掘的统计方法，用来评估一个词在一组文档中的重要性。
• TF-IDF的基本思想是，如果某个词在一篇文档中出现频率高，但在其他文档中很少出现，那么它可能具有很高的重要性
• TF-IDF由两个主要部分组成：

  TF-IDF(x) = TF(x)*IDF(x)

  • TF（词频）
    • TF代表的是某个词在一篇文档中出现的频率。
    • 这个频率可以通过计算词在文档中出现的次数与该文档中总词数的比例来得到。
    • 词频衡量了某个词在特定文档中的重要性。
    • 
      • w是某个单词
      • d是特定文档
      • count(w,d)——这个单词在这个文档中出现的次数
      • size(d)——这个文档的单词数量
  • IDF（逆文档频率）
    • ​​​​​​​IDF则衡量的是某个词在整个文档集中的普遍性
    • IDF用来降低那些在很多文档中都出现过的常用词（如“的”、“是”）的权重，使得独特而少见的词更为突出
    • 
      • n——文档总数
      • docs(w,D)——词w出现在文件集D的多少个文件中