使用Python进行英文词频统计

最新推荐文章于 2025-02-08 22:07:56 发布

李小罐

最新推荐文章于 2025-02-08 22:07:56 发布

阅读量2.7w

点赞数 36

分类专栏： Python 文章标签： python 词频统计

本文链接：https://blog.csdn.net/aieraisiji/article/details/88397865

版权

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种处理英文文章并进行词频统计的方法，包括内容去噪、归一化和使用split()函数分词。以《飘》为例，展示了如何统计词频最高的前十位单词。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对一篇英文文章进行词频统计重点在于内容去噪和归一化，可用split()进行分词。本文以《飘》为例，统计词频最高的前十位。

1.读取文件，通过lower()、replace()函数将所有单词统一为小写，并用空格替换特殊字符。

def gettext():
    txt = open("piao.txt","r",errors='ignore').read()
    txt = txt.lower()
    for ch in '!"#$&()*+,-./:;<=>?@[\\]^_{|}·~‘’':
        txt = txt.replace(ch,"")
return txt

2.对处理后的文本进行词频统计存入字典。

txt = gettext()
words = txt.split()
counts = {}
for word in words:
    counts[word] = counts.get(word,0) + 1

3.统计结果存为列表类型，按词频由高到低进行排序，输出前十位。

items = list(counts.items())
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count = items[i]
    print("{0:<10}{1:>5}".format(word,count))

输入：

在这里插入图片描述