python实现统计文本中单词出现的频率

#coding=utf-8
import os
from collections import Counter
sumsdata=[]
for fname in os.listdir(os.getcwd()):
    if os.path.isfile(fname) and fname.endswith('.txt'):
        with open(fname,'r') as fp:
            data=fp.readlines()
        sumsdata+=[line.strip().lower() for line in data]
cnt=Counter()
for word in sumsdata:
    cnt[word]+=1
cnt=dict(cnt)
for key,value in cnt.items():
    print(key+":"+str(value))

首先在和程序所在路径下创建几个文本文件,我建了两个,文件内容分别为hello python goodbye python 和 i like python。运行程序,得到以下结果

  • 2
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
可以使用 Python 的字典来统计英语单词出现频率。具体实现过程如下: 1. 首先,读取英文文本文件,可以使用 Python 的 `open()` 函数来打开文件,并使用 `read()` 函数读取文件内容。例如,以下代码可以读取名为 `example.txt` 的文本文件: ```python with open('example.txt', 'r') as f: text = f.read() ``` 2. 然后,将文本内容转换为单词列表,可以使用 Python 的 `split()` 函数来将文本内容按照空格分割为单词列表。例如,以下代码可以将文本内容转换为单词列表: ```python words = text.split() ``` 3. 接下来,遍历单词列表,使用字典来统计每个单词出现的次数。如果单词已经存在于字典,则将该单词对应的值加 1;否则,将该单词作为新键值对添加到字典,初始值为 1。例如,以下代码可以统计单词列表每个单词出现频率: ```python freq_dict = {} for word in words: if word in freq_dict: freq_dict[word] += 1 else: freq_dict[word] = 1 ``` 4. 最后,按照单词出现频率从高到低输出结果。可以使用 Python 的 `sorted()` 函数对字典按照值进行排序,然后使用 `for` 循环遍历排序后的结果输出。例如,以下代码可以将字典按照值从大到小排序,并输出前 10 个键值对: ```python sorted_freq_dict = sorted(freq_dict.items(), key=lambda x: x[1], reverse=True) for i in range(10): print(sorted_freq_dict[i]) ``` 完整代码如下: ```python with open('example.txt', 'r') as f: text = f.read() words = text.split() freq_dict = {} for word in words: if word in freq_dict: freq_dict[word] += 1 else: freq_dict[word] = 1 sorted_freq_dict = sorted(freq_dict.items(), key=lambda x: x[1], reverse=True) for i in range(10): print(sorted_freq_dict[i]) ```
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值