多个txt内容合并并统计字频

最新推荐文章于 2022-12-28 11:15:59 发布

loovelj

最新推荐文章于 2022-12-28 11:15:59 发布

阅读量240

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/loovelj/article/details/97266563

版权

python 专栏收录该内容

74 篇文章 4 订阅

订阅专栏

当有很多txt，需要合并内容后，统计字频

1、合并txt

find ./ -name '*.txt' -exec cat {} \; >all_2.txt;

2、统计字频

import collections
with open('/data/crnn/wangxiang/all.txt','r',encoding='utf-8') as f:
    result=f.readlines()
    # print(result)
    all=''
    for i in result:  #获取所有内容，拼接成大字符串
        all=all+i   

    mycount = collections.Counter(all)
    # for key, val in mycount.most_common(10):  # 有序（返回前10个）
    for key, val in mycount.most_common(100000):  # 有序（返回前10000个）
        print(key, val)