如何对热词进行提取

热词

简单地理解热词就是某文档中出现频率高的且非无用的词语。

朴素的想法

文档由若干词（term）组成，那么很朴素的想法就可以认为文档中某个term出现的次数越多就越可能是高频热词。这样的统计策略就叫Term Frequency，即TF。

干扰项

• 标点符号，一般标点符号没有价值，去掉。
• 停词，停词没有特别的意义，一般也要去掉，比如“是”，“的”，"the","that","this"等。

词权重

现在可能还存在问题，假如某文档中多个term出现的次数相同，则不好判别他们之间哪个更重要。因为缺少词权重。此权重叫逆文档频率(IDF)，某个term的权重可定为：

其中，T为统计样本中总文档数，t为包含某term的文档数。

包含该term的文档数越大，说明越不重要。

TF-IDF

有了TF和IDF就可以通过他们一起决定Term的重要性。

• TF为某term在文档出现的次数。
• IDF则按照上面公式计算。
• 则TF-IDF为TF乘以IDF。

IDF统计样本

其实有几种方式来统计IDF。

• 自己收集样本库进行统计。
• 第三方统计好的IDF表。
• 借助百度或谷歌搜索引擎，这种方式不准确。随便取个m值假设为总文档，再搜索某个term得到n条结果，则认为n除以m即为IDF。

====广告时间，可直接跳过====

鄙人的新书《Tomcat内核设计剖析》已经在京东预售了，有需要的朋友可以到 item.jd.com/12185360.ht… 进行预定。感谢各位朋友。

=========================

欢迎关注：

这里写图片描述