python汉语词频统计软件_python实现简单中文词频统计示例-CSDN博客

本文链接：https://blog.csdn.net/weixin_33622032/article/details/112953685

本文介绍了python实现简单中文词频统计示例，分享给大家，具体如下：

任务

简单统计一个小说中哪些个汉字出现的频率最高

知识点

1.文件操作

2.字典

3.排序

4.lambda

代码

统计了一个11M的小说，结果如下：

[('，', 288508), ('。', 261584), ('的', 188693), ('陈', 92565), ('欢', 92505), ('不', 91234), ('是', 90562), ('了', 86931), ('一', 79059), ('着', 77997), ('他'

, 71695), ('这', 63580), ('人', 61210), ('“', 59719), ('”', 59115), ('有', 56054), ('就', 52862), ('个', 49097), ('都', 46850), ('你', 45400), ('来', 42659),

('我', 40057), ('在', 37676), ('们', 36966), ('到', 36351), ('说', 35828), ('还', 35260), ('么', 32601), ('下', 31742), ('地', 30692), ('得', 29904), ('上', 2

9627), ('看', 28408), ('没', 28333), ('出', 27937), ('道', 27732), ('大', 27012), ('？', 26729), ('那', 26589), ('要', 26076), ('子', 25035), ('自', 24012), ('

点', 23942), ('好', 21345), ('想', 21242), ('里', 20915), ('面', 20661), ('她', 20313), ('过', 20304), ('话', 20110)]

使用jieba先对中文文档进行分词处理

输出的clean_title.txt内容

邮轮,地中海,深度,罗马,自由纳西,柏林签证,步行,三天,批准申根,手把手,签证,申请,如何赞爆,法兰,穿越,葡萄酒,风景,河谷,世界欧洲颜色,一种,国家,一个水族箱,帕劳,七日,上帝奥林匹亚,跑步圣托,

里尼,文明古国,探访,爱琴海,魅力,希腊

2、统计词频

结果：

最后 4

欧洲幽蓝 1

集美 1

葡萄牙法多 1

工地 1

知道湖光山色 1

神圣 7

欧洲少女瑞士加游 1

根据词汇数量排序查看：

cat word.txt |sort -nr -k 2|more