Python初学13——jieba库简介与使用

目录

一、jieba库基本介绍

二、jieba库的使用说明（三种模式、lcut()、lcut_for_search()、add_word() ）

三、“文本词频统计”实例

---

一、jieba库基本介绍

• jieba 是一个中文分词第三方库，被称为最好的 Python 中文分词库。
• 支持三种分词模式：精确模式、全模式和搜索引擎模式，并且支持繁体分词和自定义词典。用户只需掌握一个函数 lcut()
• 用户使用前需要额外安装，安装过程参考“Python初学11”第二章（对应安装命令改为：pip install jieba）

简单说，jieba是一个非常好用的中文工具，以分词起家，但功能比分词要强大很多。而且，全国计算机等级考试二级Python语言必考jieba库。

二、jieba库的使用说明（三种模式、lcut()、lcut_for_search()、add_word() ）

jieba分词依靠中文词库，确定汉字之间的关联概率。除了分词，用户还可以添加自定义的词组。

精确模式：把文本精确的切分开，不存在冗余单词

全模式：把文本中所有可能的词语都扫描出来，有冗余

搜索引擎模式：在精确模式的基础上，对长词再次切分

表2-1 jieba库常用函数

函数	说明
lcut(s)	精确模式 返回一个列表类型的分词结果 图2-1
lcut(s, cut_all=True)	全模式 返回一个列表类型的分词结果，存在冗余 图2-2
lcut_for_search(s)	搜索引擎模式 返回一个列表类型的分词结果，存在冗余 图2-3
add_word(w)	向分词词典增加新词 w

三、“文本词频统计”实例

     1. 需求：《三国演义》文章中，出现了哪些词？哪些词出现的次数最多？

注：网上搜索三国演义TXT文本下载，并将三国演义.txt文本与.py代码文件存放的同一路径下。

import jieba
txt = open('三国演义.txt', 'r', encoding="utf-8").read() # 读取txt文本
words = jieba.lcut(txt) # 对文本进行分词

'对分词后的词语进行统计，不统计单字词语'
counts = {} # 创建空字典
for i in words:
    if len(i) == 1:
        continue
    else:
        # 字典中的键为分词词语，值是对应分词出现的次数
        counts[i] = counts.get(i, 0) + 1

'对统计结果排序并打印输出'
items = list(counts.items()) # 将字典转换成列表以便于排序
items.sort(key=lambda x:x[1], reverse=True) # 以键值对中的值为依据，从大到小排序
for i in range(15): # 打印输出前十五个分词及其出现的次数
    word, count = items[i]
    print("{0:<10}{1:^5}".format(word, count))

图3-1

     2. 需求：《三国演义》文章中，人物出场次数统计。

import jieba
txt = open('三国演义.txt', 'r', encoding="utf-8").read() # 读取txt文本
words = jieba.lcut(txt) # 对文本进行分词

'对分词后的词语进行统计，不统计单字词语，合并意义相同的分词'
counts = {} # 创建空字典
for i in words:
    if len(i) == 1:
        continue
    elif i=='诸葛亮' or i=='孔明曰':
        word = '孔明'
    elif i=='关公' or i=='云长':
        word = '关羽'
    elif i=='玄德' or i=='玄德曰':
        word = '刘备'
    elif i=='孟德' or i=='丞相':
        word = '曹操'
    else:
        word = i
    # 字典中的键为分词词语，值是对应分词出现的次数
    counts[word] = counts.get(word, 0) + 1

'删除字典中部分不是人物的分词'
excludes = {"将军", "却说", "荆州", "二人",
            "不可", "不能", "如此", "商议",
            "如何", "军士", "主公", "左右",
            "军马", "次日", "引兵", "大喜",
            "天下", "东吴", "于是", "今日",
            "不敢", "魏兵", "陛下", "人马",
            "都督"} # 创建集合
for i in excludes:
    del counts[i]

'对统计结果排序并打印输出'
items = list(counts.items()) # 将字典转换成列表以便于排序
items.sort(key=lambda x:x[1], reverse=True) # 以键值对中的值为依据，从大到小排序
for i in range(10): # 打印输出前十五个分词及其出现的次数
    word, count = items[i]
    print("{0:<10}{1:^5}".format(word, count))

图3-2

     3. 总结

• 问题扩展：《红楼梦》、《西游记》、《水浒传》、政府工作报告、科研论文、新闻报道
• 绘制词云