Python3 简单实现词频统计

Python3 统计单词出现的行数

以 红楼梦 的数据为例，Python 实现:

    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        count = sum([1 for line in file if '贾宝玉' in line])
    print(count)

Linux 使用 grep :

$ grep  '贾宝玉' 红楼梦.txt | wc -l 
// 或者使用下列方法
$ grep  -c '贾宝玉'  红楼梦.txt

---

统计单词出现的次数

一般情况下，如果一行中单词出现了多次的话，统计行数的意义就不大了。因此我们改动下代码.
Python 实现:

import re
    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        count = 0
        for line in file:
            # if line.find('贾宝玉') != -1:
            m = re.findall('贾宝玉', line)
            if m:
                count += len(m)
        print(count)

Linux 使用 grep :

$  grep  -o   '贾宝玉'  红楼梦.txt | wc -l
$  grep  -o   '贾宝玉'  红楼梦.txt | uniq -c

---

如果想统计多个单词的话，

Python 实现:

import re
def count(*keywords):
    keyword_map = {}
    for keyword in keywords:
        count = 0
        with open('红楼梦.txt', 'r', encoding='utf-8') as file:
            for line in file:
                m = re.findall(keyword, line)
                if m:
                    count += len(m)
        keyword_map[keyword] = count

    return keyword_map

if __name__ == '__main__':
    print(count("贾宝玉", "甄宝玉"))

Linux 使用 grep :

$ grep  -o   -e '贾宝玉'  -e '甄宝玉' 红楼梦.txt | sort | uniq -c
// 或者
$ grep  -o   '贾宝玉\|甄宝玉' 红楼梦.txt | sort | uniq -c

---

上述的 Python 代码还有两个缺点。

1. 写法有问题，每个关键词，遍历了一遍文件。
2. 如果文件没有使用换行符，即所有文件都是在一行显示，那么相当于一次性把文件都读到内存当中。

因此修改下代码:

import re
def read_by_size(*keywords, chunk_size=8 * 1024):
    keyword_map = {}
    with open('红楼梦.txt', 'r', encoding='utf-8') as file:
        while True:
            chunk = file.read(chunk_size)
            if not chunk:
                break
            for keyword in keywords:
                m = re.findall(keyword, chunk)
                if m:
                    old_count = keyword_map.get(keyword, 0)
                    keyword_map[keyword] = old_count + len(m)

    return keyword_map


if __name__ == '__main__':
    print(read_by_size("贾宝玉", "甄宝玉"))

同样上述代码也是有一个缺点，每次读取了 8k 的数据，如果正好分割了一个单词的话，可能造成统计不准确。

---

延伸

学习过程中，我发现有人用 jieba 中文分词和 Counter 集合做词频统计。
这里主要学习 Python ,就不用这些第三方库实现了