Python文本词频统计（对三国演义进行人物出场频率的统计）

最新推荐文章于 2024-01-25 17:03:44 发布

一只水熊虫

最新推荐文章于 2024-01-25 17:03:44 发布

阅读量1.1w

点赞数 15

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/myec_lipse/article/details/107080477

版权

Python 专栏收录该内容

12 篇文章

订阅专栏

本文通过使用jieba分词库对《三国演义》进行文本分析，首先进行了简单的词频统计，然后通过排除非人名词汇和合并同一人物的不同称呼，进一步精确了结果，最终得出了出现频率最高的八个人物名字。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jieba：优秀的中文分词第三方库
ThreeKingdoms.txt（三国演义.txt）：https://python123.io/resources/pye/threekingdoms.txt

代码1：

# CalThreeKingdomsV1.py
import jieba
txt = open("ThreeKingdoms.txt", encoding="utf-8").read()    # 打开文件
words = jieba.lcut(txt)                                     # 分词
counts = {}                                                 # 建字典
for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1              # 判断名字是否在字典中存在，存在则值加1，否则值为1
items = list(counts.items())                                # 列表化
items.sort(key=lambda x: x[1], reverse=True)                 # 排序，默认从小到大，reverse反序输出
for i in range(20):                                         # 输出前20名的词
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))

结果：

曹操          953
孔明          836
将军          772
却说          656
玄德          585
关公          510
丞相          491
二人          469
不可          440
荆州          425
玄德曰         390
孔明曰         390
不能          384
如此          378
张飞          358
商议          344
如何          338
主公          331
军士          317
吕布          300

Process finished with exit code 0

很明显输出的结果中有些不是人名，需要去掉；还有一些名字指的是同一个人，需要合并，所以就有了

代码2：

# CalThreeKingdomsV2.py
import jieba
txt = open("ThreeKingdoms.txt", encoding="utf-8").read()
excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "军士", "主公", "左右", "军马",
            "次日", "引兵", "大喜"}     # 多次运行代码，找出那些不是人物名的词
words = jieba.lcut(txt)                               # 分词
counts = {}                                           # 建字典
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":        # 合并同一个人的名词
        r_word = "孔明"
    elif word == "关公" or word == "云长":
        r_word = "关羽"
    elif word == "玄德" or word == "玄德曰":
        r_word = "刘备"
    elif word == "孟德" or word == "丞相":           # 暂且先认为所有的“丞相”都是指“曹操”
        r_word = "曹操"
    else:
        r_word = word
    counts[r_word] = counts.get(r_word, 0) + 1      # 统计词频
for word in excludes:
    del counts[word]                                # 删掉非人的词
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)        # 排序，反序输出
for i in range(8):                                 # 输出前8名
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))

结果：

曹操         1451
孔明         1383
刘备         1252
关羽          784
张飞          358
吕布          300
赵云          278
孙权          264

Process finished with exit code 0