· 什么是TF-IDF?
TF-IDF(term frequency–inverse document frequency)是一种加权技术,用于文本数据的挖掘与清洗。
· 使用情境
现有大段文本数据,希望从中获得高频、有效的词汇。
e.g. 文本数据:“今天天气很好,适合出去玩。”→n.天气;a.好;v.出去/玩
(Task:从中找出类似的词汇并统计词频)
· 算法步骤
如上,TF-IDF算法实现分为三步:
1.单篇文章中,计算TF:
Denote Xi=词汇i出现次数,X=文章总词汇数
#为什么要计算TF?
A:为了看一篇文章/一段文字中词汇i出现的频率。
2.语料库中,计算IDF:
Denote Y=语料库中文章总数,Yi=包含词汇i的文章数