Python3 简单实现词频统计

Python3 统计单词出现的行数

红楼梦 的数据为例,Python 实现:

    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        count = sum([1 for line in file if '贾宝玉' in line])
    print(count)

Linux 使用 grep :

$ grep  '贾宝玉' 红楼梦.txt | wc -l 
// 或者使用下列方法
$ grep  -c '贾宝玉'  红楼梦.txt

统计单词出现的次数

一般情况下,如果一行中单词出现了多次的话,统计行数的意义就不大了。因此我们改动下代码.
Python 实现:

import re
    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        count = 0
        for line in file:
            # if line.find('贾宝玉') != -1:
            m = re.findall('贾宝玉', line)
            if m:
                count += len(m)
        print(count)

Linux 使用 grep :

$  grep  -o   '贾宝玉'  红楼梦.txt | wc -l
$  grep  -o   '贾宝玉'  红楼梦.txt | uniq -c

如果想统计多个单词的话,

Python 实现:

import re
def count(*keywords):
    keyword_map = {}
    for keyword in keywords:
        count = 0
        with open('红楼梦.txt', 'r', encoding='utf-8') as file:
            for line in file:
                m = re.findall(keyword, line)
                if m:
                    count += len(m)
        keyword_map[keyword] = count

    return keyword_map

if __name__ == '__main__':
    print(count("贾宝玉", "甄宝玉"))

Linux 使用 grep :

$ grep  -o   -e '贾宝玉'  -e '甄宝玉' 红楼梦.txt | sort | uniq -c
// 或者
$ grep  -o   '贾宝玉\|甄宝玉' 红楼梦.txt | sort | uniq -c

上述的 Python 代码还有两个缺点。

  1. 写法有问题,每个关键词,遍历了一遍文件。
  2. 如果文件没有使用换行符,即所有文件都是在一行显示,那么相当于一次性把文件都读到内存当中。

因此修改下代码:

import re
def read_by_size(*keywords, chunk_size=8 * 1024):
    keyword_map = {}
    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        while True:
            chunk = file.read(chunk_size)
            if not chunk:
                break
            for keyword in keywords:
                m = re.findall(keyword, chunk)
                if m:
                    old_count = keyword_map.get(keyword, 0)
                    keyword_map[keyword] = old_count + len(m)

    return keyword_map


if __name__ == '__main__':
    print(read_by_size("贾宝玉", "甄宝玉"))

同样上述代码也是有一个缺点,每次读取了 8k 的数据,如果正好分割了一个单词的话,可能造成统计不准确。


延伸

学习过程中,我发现有人用 jieba 中文分词和 Counter 集合做词频统计。
这里主要学习 Python ,就不用这些第三方库实现了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值