前言
之前了解jieba主要是在分词方面的使用,最近在具体的学习jieba相关的使用,才感受到jieba作为最好的中文分词组件功能的强大,下面对jieba具体功能的使用做一些总结。
jieba的安装
jieba的安装在原生python环境和anaconda环境不尽相同(之前一直以为anaconda是自带jieba的,使用是才发现需要安装),总体上一共有以下几种安装方式:
- 全自动安装(原生python环境):easy_install jieba 或者 pip install jieba / pip3 install jieba
- 半自动安装(anaconda环境):详细安装请见前几天总结: https://blog.csdn.net/lovehave/article/details/103242867
- 手动安装:将jieba目录放置于当前目录或者 site-packages 目录,然后通过 import jieba 来引用
jieba的功能
分词功能
分词作为jieba的主要功能,不仅支持简体分词,也支持繁体字分词,可以自定义分词词典,分词模式上有三种分词模式:
- 精确模式 试图将句子最精确的切开,适合文本分析
- 全模式 把句子中所有的可以成词的词语都扫描出来,速度快,不解决词语起义
- 搜索引擎模式 在精确模式的基础上,对长词再次切分,提高召回率,适用于搜索引擎分词
分词常用方法
分词常用方法主要是 jieba.cut、jieba.cut_for_search、jieba.lcut、jieba.lcut_for_search、jieba.Tokenizer(dictionary=DEFAULT_DICT)
- jieba.cut 方法有三个参数:需要分词的字符串、cut_all参数用来控制是否采用全模式(默认是精确模式)、HMM参数用来控制是否使用HMM模型
- jieba.cut_for_search 方法有两个参数:需要分词的字符串、是否使用HMM模型,该方法适用于搜索引擎构建倒排索引的分词,粒度比较细
- jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator,可以使用 for 循环来获得分词后得到的每一个词语
- jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
- jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器,可用于同时使用不同词典。jieba.dt 为默认分词器,所有全局分词相关函数都是该分词器的映射(这块没有使用过,不了解~)
代码示例:
import jieba
sentence = "掌通家园今天日活突破了一千万"
print(" ".join(jieba.cut(sentence))) # 精确模式
print(" ".join(jieba.cut(sentence, cut_all=True))) # 全模式
print(" ".join(jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造"))) # 搜索引擎模式
输出结果:
掌通 家园 今天 日活 突破 了 一千万
掌 通 家园 今天 天日 活 突破 了 一千 一千万 千万
小明 硕士 毕业 于 中国 科学 学院 科学院 中国科学院 计算 计算所 , 后 在 日本 京都 大学 日本京都大学 深造
加载自定义分词词典
用法:jieba.load_userdict(file_path) # file_path是自定义词典的路径