自然语言处理——jieba分词

1.基本分词函数与用法

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)

jieba.cut 方法接受三个输入参数:

• 需要分词的字符串
• cut_all 参数用来控制是否采用全模式
• HMM 参数用来控制是否使用 HMM 模型

jieba.cut_for_search 方法接受两个参数

• 需要分词的字符串
• 是否使用 HMM 模型。
  该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

import jieba

sent = '中文分词是文本处理不可或缺的一步！'

seg_list = jieba.cut(sent, cut_all=True)

print('全模式：', '/ ' .join(seg_list)) 

seg_list = jieba.cut(sent, cut_all=False)
print('精确模式：', '/ '.join(seg_list)) 

seg_list = jieba.cut(sent)  
print('默认精确模式：', '/ '.join(seg_list))

seg_list = jieba.cut_for_search(sent)  
print('搜索引擎模式', '/ '.join(seg_list))

#词性标注
import jieba.posseg as psg     

sent = '中文分词是文本处理不可或缺的一步！'

seg_list