简单地说,就是你检索一个词,匹配出来的文章,网页太多了。比如 1000 个,这些内容再该怎么
呈现,哪些在前面哪些在后面。这需要也有个对匹配度的评分。
TF-IDF 就是干这个的。
- TF = Term Frequency 词频,一个词在这个文档中出现的频率。值越大,说明这文档越匹配, 正向指标。
- IDF = Inverse Document Frequency 反向文档频率,简单点说就是一个词在所有文档中都出
现,那么这个词不重要。比如“的、了、我、好”这些词所有文档都出现,对检索毫无帮助。反 向指标。 - 最后,TF-IDF 是词频和逆文档频率的乘积,表示一个词在一个文档中的重要性。公式为:
TF-IDF(t,d)=TF(t,d)×IDF(t)