python中jieba库的使用

英文的词频统计

英语中我们可以通过.split()对字符串进行分割，从而获取到单词的列表。
比如如下代码对哈姆雷特中前10英文单词频率进行了统计排序

#CalHamletV1.py
def getText():
    txt = open("word frequency/hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

运行看下效果，发现the出现次数最多

jieba库的使用

那么在中文中，因为每个汉字连在一起，没有空格，所以就不适用了。我们可以引用python第三库中的jieba库来解决这个问题。

基本介绍

Jieba是优秀的中文分词第三方库，它能够对中文文本进行分词或得单个的词语，因为是第三方库，所以需要额外安装。命令：pip install jieba

分词原理

Jieba分词依靠的是一个强大的中文库，确定汉字自检的关联概率，概率大的组成词组，形成了分词的结果。除了分词呢，用户还可以添加自定义的词组。
Jieba分词有三种模式：
精确模式：把文本精确的切分开，不存在冗余单词
全模式：把文本中所有可能的词语都扫描出来，有冗余
搜索引擎模式：在精确模式基础上，对长词再次切分
Jieba库

函数	描述
jieba.lcut(s)	精确模式，返回一个列表类型的分词结果
jieba.lcut(s,cut_all=True)	全模式，返回一个列表类型的分词结果，存在冗余
jieba.luct_for_search(s)	搜索引擎模式，返回一个列表类型的分词结果，存在冗余
jieba.add_world(w)	向分词词典增加新词w

简单应用

利用jieba统计三国演义人名出线频率

#CalThreeKingdomsV2.py
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("word frequency/threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
for word in excludes:
    del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

运行看下效果：