1. jieba库基本用法

1. 简介

jieba库对中文分词的支持性较好，将文本分成粒度更细的词。详细介绍参见jieba。

2. 基本分词函数

jieba.cut以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator。

• jieba.cut 方法接受三个输入参数:
  
  • 需要分词的字符串
  • cut_all参数用来控制是否采用全模式
  • HMM 参数用来控制是否使用 HMM 模型
• jieba.cut_for_search 方法接受两个参数
  
  • 需要分词的字符串
  • 是否使用 HMM 模型。
  • 该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

jieba.lcut以及jieba.lcut_for_search直接返回 list。

3. 添加用户自定义字典

因为专业需要，我们可以预先指定需要进行分词的词汇。

1. jieba.load_userdict(file_name)加载用户字典
2. 少量的词汇可以自己用下面方法手动添加：
   jieba.add_word(word, freq=None, tag=None) 和 jieba.del_word(word)在程序中动态修改词典
   ji