tf-idf是一种用于评估单词在文件集合中的重要性的统计方法，常用于搜索引擎和文本分类。它由词频(tf)和逆文档频率(idf)组成。tf表示词在文本中的频率，idf反映词区分不同文件的能力。然而，tf-idf存在忽略词序、易选出偶然高频词等缺陷。在文本分类中，可将每个类别视为文件，重新计算tf和idf，以提高分类效果。
维基百科给的定义式：tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。tf-idf加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了tf-idf以外，互联网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜索结果中出现的顺序。
也即：
tf = 一个词在某个文件中的出现次数 / 该文件中所有词出现的次数总和
idf = log 文档总数 / （包含这个词的所有文档数之和 + 1）
idf表示一个词能将当前文件和其他文件区分开的能力，越大越好。
tf表示某个词出现在这段文本的频率，越大越好。
缺陷:
没有考虑顺序。
容易选出一些出现频率少，恰巧出现在
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
