• :一个词在文章中出现的次数
• 也不是绝对的!出现次数最多的是“的”“是”“在”,这类最常用的词,
叫做停用词(stop words)
• 停用词对结果毫无帮助,必须过滤掉的词
• 如果某个词比较少见,但是它在这篇文章中多次出现,那
么它很可能反映了这篇文章的特性,正是我们所需要的关键词
- 反文档频率 -IDF
• 在词频的基础上,赋予每一个词的权重,进一步体现该词的重要性,
• 最常见的词(“的”、“是”、“在”)给予最小的权重
• 较常见的词(“国内”、“中国”、“报道”)给予较小的权重
• 较少见的词(“养殖”、“维基”、“涨停”)较大权重
4.TF·IDF值越大 该词的越重要
反文档频率(IDF)= log( 语料库文档数/包含这个关键词的文档数+1)
应用:
- 相似文章
• 使用TF-IDF算法,找出两篇文章的关键词;
• 每篇文章各取出若干个关键词,合并成一个集合,计算每篇文章对于这个集合
中的词的词频;
• 生成两篇文章各自的词频向量;
• 计算两个向量的余弦相似度,值越大就表示越相似。
- 文章摘要