《NLP自然语言处理》—— 关键字提取之TF-IDF算法

一、TF-IDF算法介绍

• TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一个词语对于一个文件集或一个语料库中的其中一份文件的重要程度。词语的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
• TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为这个词或者短语具有很好的类别区分能力，适合用来分类。
• TF（Term Frequency，词频）
  • 词频（TF）指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化（一般是词频除以文章总词数），以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。）
  • 计算公式如下：
    
• IDF（Inverse Document Frequency，逆文档频率）
  • 逆文档频率（IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。如果包含词条t的文档越少，IDF越大，则说明词条t具有很好的类别区分能力。
  • 计算公式如下：
    
  • +1是为了避免包含该词的文档数为0的时候，分子为0的情况发生
• TF-IDF的计算公式
  

二、举例说明

• 假设有一篇名为《中国的蜜蜂养殖》文章，假定该文长度为1000个词，“中国”、“蜜蜂”、养殖"各出现20次，则这三