零基础Python——对txt文本的词频统计

最新推荐文章于 2023-11-14 16:04:15 发布

962464_VWW

最新推荐文章于 2023-11-14 16:04:15 发布

阅读量2.1k

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/m0_46431504/article/details/113786286

版权

本文档介绍了如何使用Python 3.7在百度AI Studio环境中对txt文本进行词频统计。首先，文章详细阐述了环境配置，接着说明了需求，包括删除换行符、处理标点符号和数字、统一转换为小写。然后，提供了按字母顺序排序和按词频排序的代码实现。最后，提到了内容来源于相关课程作业。

摘要由CSDN通过智能技术生成

零基础Python——对txt文本的词频统计

一、环境

提示：环境为百度AI Studio中项目环境。
网址链接：https://aistudio.baidu.com/aistudio/index

Python版本：python 3.7
框架版本：PaddlePaddle 2.0.0

CPU：2
RAM：8GB
磁盘：100GB

统计英语6级试题（文本路径./artical.txt）中所有单词的词频，并返回一个如下样式的字典：{'and':100,'abandon':5}

英语6级试题的文本部分截图：

处理要求：
(a) '\n’是换行符，需要删除。

(b) 标点符号需要处理：
[’.’, ‘,’, ‘!’, ‘?’, ‘;’, ‘’’, ‘"’, ‘/’, ‘-’, ‘(’, ‘)’]

(c ) 阿拉伯数字需要处理：
[‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘0’]

(d) 注意大小写一些单词由于在句首，首字母大写了。需要把所有的单词转成小写。
处理方法：'String'.lower()

def get_artical(artical_path):
    with open(artical_path) as fr:
        data = fr.read()
    return data

get_artical('./artical.txt')

关注