本文介绍了TF-IDF算法的概述，定义及其在Spark中的应用。TF-IDF是一种评估词在文档集中的重要性的技术，词频越高，逆文档频率越大，词的重要性越强。文章通过实例解释了如何使用Spark计算TF-IDF，并展示了如何评估词的信息量。
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州
▲ 本章节目的
⚪ 了解Spark的TF-IDF算法概念；
⚪ 了解Spark的TF-IDF算法定义；
⚪ 了解Spark的TF-IDF算法案例；
一、TF-IDF算法概述
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
Term Frequency (tf)：即此
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
