Python——如何进行文本词频统计呢?看看思路哟。

思路:
1、open( ) 读取文本,for 对特殊字符进行 ch.replace( )替换;
2、hamletTxt.split( ) 对单词切分,获得了一个以空格分开的单词小写归一化文本;
3、把单词作为字典key counts[word] ,字典值为统计次数 counts.get(word,0) + 1,for循环 统计词频次数;
4、字典换为列表,字典值-统计次数,降序排序;
5、输出前面出现次数最多的词频。
代码如下:

def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt
    
# 获得了一个以空格分开的单词小写归一化文本
hamletTxt = getText()
words  = hamletTxt.split()  # 默认空隔切分,列表形式返回给Word,每个元素就是一个单词以空格分开
counts = {}  				# 以字典类型映射出统计对应关系
for word in words: 			# 2行代码统计次数
    counts[word] = counts.get(word,0) + 1
    # word 为键,get方法获取值 判断单词在不在字典中,在就+1 不在就添加赋值0 +1

items = list(counts.items()) # 把字典转换列表类型

# 要清楚字典转换为列表的元素存储方式 x[0] 是单词 x[1] 是统计次数
items.sort(key=lambda x:x[1], reverse=True) # 通过以降序 统计次数为排序依据

for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count)) # 左右对齐方式 输出文本词频统计

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐樽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值