tfidf关键词提取_特征加权之TFIDF

特征加权之TFIDF

小白，因为爱好从物理转自然语言处理方向。喜欢研究新知识新文章，欢迎大家一起交流！个人网站：https://mokundong.cn/

0x00 背景

TF-IDF是信息检索和文本挖掘中常用的特征加权技术，同样常用于文本主题提取和分词加权等场景。

TF-IDF是一种完全基于统计的方法，其核心思想是假设字词的重要性与其在某篇文章中出现的比例成正比，与其在其他文章中出现的比例成反比。

0x01 TF-IDF

怎么理解呢？某个词在一篇文章中反复出现有两种情况，即这个词是关键词或者常用词(可理解为停用词)。要确定这个词的最终属性则需要考虑这个词在其他文章中出现的频率，若其他文章出现频率高则可以判断为常用词，出现频率低则可以确定为该词所属文章的主题词。

2.1 TF

TF (Trem Frequency) 表示词频，即一个词在文章中出现的次数。实际应用中不同长度的文章中指定词出现的次数可能与文档长度有正相关，因此我们需要对词频进行归一化处理，通常用次数除以文章的总词数：

公式中分子 表示词语在文本中的频数，分母表示文档中所有词汇量总和。

即是说：

给定词在当前文