python分词模块jieba的使用

前言

之前了解jieba主要是在分词方面的使用，最近在具体的学习jieba相关的使用，才感受到jieba作为最好的中文分词组件功能的强大，下面对jieba具体功能的使用做一些总结。

jieba的安装

jieba的安装在原生python环境和anaconda环境不尽相同（之前一直以为anaconda是自带jieba的，使用是才发现需要安装），总体上一共有以下几种安装方式：

• 全自动安装（原生python环境）：easy_install jieba 或者 pip install jieba / pip3 install jieba
• 半自动安装（anaconda环境）：详细安装请见前几天总结: https://blog.csdn.net/lovehave/article/details/103242867
• 手动安装：将jieba目录放置于当前目录或者 site-packages 目录，然后通过 import jieba 来引用

jieba的功能

分词功能

分词作为jieba的主要功能，不仅支持简体分词，也支持繁体字分词，可以自定义分词词典，分词模式上有三种分词模式:

• 精确模式 试图将句子最精确的切开，适合文本分析
• 全模式 把句子中所有的可以成词的词语都扫描出来，速度快，不解决词语起义
• 搜索引擎模式 在精确模式的基础上，对长词再次切分，提高召回率，适用于搜索引擎分词

分词常用方法

分词常用方法主要是 jieba.cut、jieba.cut_for_search、jieba.lcut、jieba.lcut_for_search、jieba.Tokenizer(dictionary=DEFAULT_DICT)

• jieba.cut 方法有三个参数：需要分词的字符串、cut_all参数用来控制是否采用全模式（默认是精确模式）、HMM参数用来控制是否使用HMM模型
• jieba.cut_for_search 方法有两个参数：需要分词的字符串、是否使用HMM模型，该方法适用于搜索引擎构建倒排索引的分词，粒度比较细
• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语
  
• jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射(这块没有使用过，不了解~)
  代码示例：

    import jieba
    sentence = "掌通家园今天日活突破了一千万"
    print(" ".join(jieba.cut(sentence)))  # 精确模式
    print(" ".join(jieba.cut(sentence, cut_all=True)))  # 全模式
    print(" ".join(jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")))  # 搜索引擎模式

输出结果：

掌通 家园 今天 日活 突破 了 一千万
掌 通 家园 今天 天日 活 突破 了 一千 一千万 千万
小明 硕士 毕业 于 中国 科学 学院 科学院 中国科学院 计算 计算所 ， 后 在 日本 京都 大学 日本京都大学 深造

加载自定义分词词典

用法：jieba.load_userdict(file_path) # file_path是自定义词典的路径