tf idf python_TFIDF算法的python实现

1 、TFIDF简介

TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。(来自百度百科)

image.png

其中， TFij指第i类在第j区域中出现的频率(第i个词在所属文档中出现的频率)：

nij ：第i类 在 第j区域中出现的次数(第i类词在所属文档中出现的次数)

∑nkj ：第j区域 包含所有类的个数(文档的总ci)

IDFi ：第i类 的逆文档频率：

D ： 所有区域数(总文档数)

{j}: 包含第i类的区域数(包含词i 的文档数)

TFIDF的原理介绍到此：

2、python 实现TFIDF算法

2.1、数据预处理

原始数据为：

image.png

id 相当于词编号 (地名编号)

type 相当于具体词(地名类别&#