什么是tf-idf:
tf:trem frequency,词条频率,指的是某个词在文章中的出现次数/该文章所有字词的出现次数总和。
idf指的是:inverse document frequency,逆文档频率,指的是log(语料库的文档总数/(包含该词的文档数+1))。
概念:
对区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语。
什么是tf-idf:
tf:trem frequency,词条频率,指的是某个词在文章中的出现次数/该文章所有字词的出现次数总和。
idf指的是:inverse document frequency,逆文档频率,指的是log(语料库的文档总数/(包含该词的文档数+1))。
概念:
对区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语。