2、 python文本关键词提取实现（案例）

最新推荐文章于 2023-10-24 17:29:40 发布

UP Lee

最新推荐文章于 2023-10-24 17:29:40 发布

阅读量6.5k

点赞数 3

分类专栏：数据挖掘实战文章标签： python文本关键词提取实现关键词提取案例

本文链接：https://blog.csdn.net/qq_36327687/article/details/84943046

版权

本文介绍了Python中使用TF-IDF算法进行文本关键词提取的理论与实践。通过交叉计数函数和IDF公式，计算每个词的TF-IDF值，以判断其作为关键词的可能性。

摘要由CSDN通过智能技术生成

第一、理论准备

1交叉计数函数

pivot_table(value,index,columns,aggfunc,fill_value)

# 参数说明

values:数据透视表中的值
index：数据透视表中的行（索引）
columns；数据透视表中的列
aggfunc：统计函数
fill_value：NA值的统一替换。

# 返回只说明：
数据透视表的结果

2 IDF 公式的实现程序：
IDF=log（文档总数/(包含该词的文档数)+1）

代码实现：
def hanlder(x):
return(numpy.log2(len(corpos)/(numpy.sum(x>0)+1)))

IDF=TF.apply(hanlder)

# 词频 TF

# 逆文档频率 IDF 是一个词的权重，它的大小与一个词的常见程度成反比

IDF=log（文档总数/(包含该词的文档数)+1）

# TF-IDF 权衡某个分词是否是关键词的指标，该值越大，是关键词的可能性也就越大。

TF-IDF=TF*IDF

第二、案例代码实践


# 搭建语料库

import os
import os.path
import codecs

filepaths = [];
filecontents = [];
for root, dirs, files in os.walk(

关注