关于TF-IDF算法的关键词抽取

TF-IDF（term frequency–inverse document frequency）关键词提取算法：

在信息提取的应用场景之中，对文本中的重要词进行分析，将原文本进行停用词处理；
TF-IDF 该算法用一种统计学的方法来衡量一个词语在文本中的重要程度，常被用于信息提取，文本挖掘中，该算法的核心是计算一个文本中某个词语的tf值和idf值。

1.TF词频（term frequency ）衡量一个词语在文档中出现的频率

2.IDF反文档频率（inverse document frequency ）某一个给定词语在文档集合中出现的次数与文档总数的商

从表达式可以看出：当前词的文档个数越多，IDF的值越小，说明该词不重要；反之，该词越重要；
IDF更像是给TF赋的一个权重；

3.TF-IDF 用来抽取文章关键词的方法先计算每个词在文章中的词频（TF），计算词的权重（IDF），最后将TF、IDF相乘在排序，得到top N个关键词，也就是文章的关键词

TF-IDF计算公式：TF-IDF=TF*IDF

4.计算出文章的关键词后，可以用余弦定理来计算两篇文章的相似度