python统计词频并进行可视化显示_python统计词频

该博客介绍了如何使用Python处理文件,统计文本中每个单词的词频,并将结果进行排序。通过cProfile进行性能分析,然后利用gprof2dot和graphviz将分析结果转化为可视化图形,展示了从数据处理到性能优化的完整流程。
摘要由CSDN通过智能技术生成

一、程序分析

(1)读取文件到缓冲区

def process_file(dst): # 读文件到缓冲区

try: # 打开文件

f1=open(dst,"r")

except IOError as s:

print (s)

return None

try: # 读文件到缓冲区

bvffer=f1.read()

except:

print ("Read File Error!")

return None

f1.close()

return bvffer

(2)缓冲区字符串分割成带有词频的字典

def process_buffer(bvffer):

if bvffer:

word_freq = {}

# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq

bvffer=bvffer.lower()

for x in '~!@#$%^&*()_+/*-+\][':

bvffer=bvffer.replace(x, " ")

words=bvffer.strip().split()

for word in words:

word_freq[word]=word_freq.get(word,0)+1

return word_freq

(3)将字典按词频排序并输出排名前十的词频对

def output_result(word_freq):

if word_freq:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值