零基础Python——对txt文本的词频统计

最新推荐文章于 2022-12-09 19:47:03 发布

962464_VWW

最新推荐文章于 2022-12-09 19:47:03 发布

阅读量2k

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/m0_46431504/article/details/113786286

版权

零基础Python——对txt文本的词频统计

一、环境

提示：环境为百度AI Studio中项目环境。
网址链接：https://aistudio.baidu.com/aistudio/index

Python版本：python 3.7
框架版本：PaddlePaddle 2.0.0

CPU：2
RAM：8GB
磁盘：100GB

统计英语6级试题（文本路径./artical.txt）中所有单词的词频，并返回一个如下样式的字典：{'and':100,'abandon':5}

英语6级试题的文本部分截图：

处理要求：
(a) '\n’是换行符，需要删除。

(b) 标点符号需要处理：
[’.’, ‘,’, ‘!’, ‘?’, ‘;’, ‘’’, ‘"’, ‘/’, ‘-’, ‘(’, ‘)’]

(c ) 阿拉伯数字需要处理：
[‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘0’]

(d) 注意大小写一些单词由于在句首，首字母大写了。需要把所有的单词转成小写。
处理方法：'String'.lower()

def get_artical(artical_path):
    with open(artical_path) as fr:
        data = fr.read()
    return data

get_artical('./artical.txt')

关注