TF-IDF是一种用于评估字词在文件集或语料库中文件重要性的统计方法。关键词的重要性由其在文件内的频率（TF）和在整个语料库的频率（IDF）共同决定。TF表示关键词在文件中的词频，IDF则是逆文档频率指数。通过对关键词的TF和IDF计算，可以衡量文本间相似度。
TF-IDF算是nlp工程师必须掌握的入门级别的算法。作为兴趣爱好，之前曾阅读过几篇介绍该算法的博客，对其只是知道个大概。最近在看吴军老师的《数学之美》，里面对TF-IDF的介绍使得我对该算法有了更深刻的认识。现将个人对该算法的理解整理如下：
TF-IDF是一种统计方法，用来评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它①在文件中出现的次数成正比增加，但同时会随着它②在语料库中出现的频率成反比下降。
其中，①通过算法的TF部分来进行评估；②通过IDF来进行评估。
TF：Term Frequency，一般称为“关键词的词频”，或者“单文本词频”。计算方法：文件中关键词的使用次数除以文件总词数（非去重）。例如，在一篇总词数为10000的文章中，“人工智能”出现了17次，“发展”出现了23次，“的”出现了113次。那么它们的TF分别为：0.0017，0.0023，0.0113。
IDF：Inverse Document Frequency，一般称为“逆文本频率指数”。计算方法：
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
