TF-IDF举例介绍

转载 ：https://blog.csdn.net/zrc199021/article/details/53728499
阅读该篇博客之后，总结一下自己的感悟：联想一个公众号（cctv-5，体育频道）
语料库 = 公众号中所有的文章 ={ A,B,C,…Z}
语料库中任一个文档 = 公众号中的任一篇文章 (不妨给定一篇文章A)
假设A是描述姚明的人生经历的文章
TF（“姚明 ”）= “姚明”在文章A中出现的频次
IDF（“姚明 ”）：不妨设“姚明”这个词只在A,B这两篇文章出现过，就用公众号的所有文章数除以包含“姚明”的文章个数，再取对数。
TF（“姚明 ”）* IDF（“姚明 ”）表示“姚明”这个词文章A 中的出现频次越高，在所有文章出现的频次越少，则“姚明”这个词就越能代表文章A。
相应地，体育这个词就不能拿来代表文章A。在一个讲述体育新闻的语料库中， IDF（“体育 ”）这个值一定会很高啦~~

记得跑代码哦~