python英文文本词频统计代码_Python小程序:文本词频统计(英文+中文)

这篇博客展示了如何使用Python进行英文和中文文本的词频统计。首先,通过处理英文文本,去除特殊字符并转为小写,然后利用字典统计词频并排序输出前10高频词。接着,利用jieba库对中文文本进行分词并统计词频,同样输出前10高频词。示例中分析了作者的英文论文和中文论文的高频词汇。
摘要由CSDN通过智能技术生成

在学习了组合数据类型和文件操作之后就可以做出下面的文本词频统计的小程序了:

1. 下面是英文文本的词频统计,统计了作者的一篇英文论文

#文本词频统计:英文文本

def gettext():

#从文件中获取文本

text = open("target.txt","r").read()

#将文本中的所有大写字母转换为小写字母

text = text.lower()

#替换文本中的所有特殊符号为空格

for c in '!"#$%^&*()_+-=@[]{}|\?/<>,.:;~·`、“”‘’':

text = text.replace(c," ")

#返回文本

return text

#获取处理好的文本

txt = gettext()

#将处理好的文本切分成列表

words = txt.split()

#定义空字典

count = {}

#遍历列表,统计词出现的次数

for word in words:

count[word] = count.get(word,0)+1

#将统计好的字典转换成列表类型,以便进行排序

items = list(count.items())

#将列表按照count中键值的从大到小的顺序进行排序

items.sort(key = lambda x:x[1], reverse = True)

#输出结果,前十位最高频词汇

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值