Jieba分词_NLP_1

NLP：自然语言理解，即计算机对人类语言进行理解

Jieba

git地址：https://github.com/fxsjy/jieba/

1、特点

• 四种分词模式：
  • 精确模式：试图将句子最精确地切开，适合文本分析；
  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
  • paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade 。PaddlePaddle官网
• 支持繁体分词
• 支持自定义词典
• MIT授权协议

2、精确模式、全模式和搜索引擎模式演示

import jieba

strs = '我正在用三分钟热情学习自然语言处理技术'

# 使用jieba.cut方法，且参数cut_all缺省，默认精确模式
seg_list1 = jieba.cut(strs)
print('默认精确模式：', '/ '.join(seg_list1))

# 使用jieba.cut方法，且cut_all=False，即为精确模式
seg_list2 = jieba.cut(strs, cut_all=False)
print('精确模式：', '/ '.join(seg_list2))

# 使用jieba.cut方法，且cut_all=True，即为全模式
seg_list3 = jieba.cut(strs, cut_all=True)
print('全模式：', '/ '.join(seg_list3))

# 使用cut_for_search方法，即为搜索引擎模式
seg_list4 = jieba.cut_for_search(strs)
print('搜索引擎模式：', '/ '.join(seg_list4)

运行结果：

默认精确模式： 我/ 正在/ 用/ 三分钟/ 热情/ 学习/ 自然语言/ 处理/ 技术
精确模式： 我/ 正在/ 用/ 三分钟/ 热情/ 学习/ 自然语言/ 处理/ 技术
全模式： 我/ 正在/ 用/ 三分/ 三分钟/ 分钟/ 热情/ 学习/ 自然/ 自然语言/ 语言/ 处理/ 技术
搜索引擎模式： 我/ 正在/ 用/ 三分/ 分钟/ 三分钟/ 热情/ 学习/ 自然/ 语言/ 自然语言/ 处理/ 技术

3、jieba分词-自定义词典

可以自定义词典，以包含jieba词库里没有的词。

• jieba.load_userdict(file_name)
  • 词典格式为一个词占一行，每一行分三部分：词语、词频（可省略）、词性（可省略）
  • 词频省略时使用自动计算的能保证分出该词的词频
  • 自动计算出来的词频在使用HMM新词发现功能时可能无效
• jieba.add_word(word, freq=None, tag=None)
• jieba.del_word(word)

import jieba
jieba.add_word('自然语言处理')

strs = '我正在用三分钟热情学习自然语言处理技术'

# 使用jieba.cut方法，且参数cut_all缺省，默认精确模式
seg_list1 = jieba.cut(strs)
print('默认精确模式：', '/ '.join(seg_list1))

# 使用jieba.cut方法，且cut_all=False，即为精确模式
seg_list2 = jieba.cut(strs, cut_all=False)
print('精确模式：', '/ '.join(seg_list2))

# 使用jieba.cut方法，且cut_all=True，即为全模式
seg_list3 = jieba.cut(strs, cut_all=True)
print('全模式：', '/ '.join(seg_list3))

# 使用cut_for_search方法，即为搜索引擎模式
seg_list4 = jieba.cut_for_search(strs)
print('搜索引擎模式：', '/ '.join(seg_list4))

运行结果

默认精确模式： 我/ 正在/ 用/ 三分钟/ 热情/ 学习/ 自然语言处理/ 技术
精确模式： 我/ 正在/ 用/ 三分钟/ 热情/ 学习/ 自然语言处理/ 技术
全模式： 我/ 正在/ 用/ 三分/ 三分钟/ 分钟/ 热情/ 学习/ 自然/ 自然语言/ 自然语言处理/ 语言/ 处理/ 技术
搜索引擎模式： 我/ 正在/ 用/ 三分/ 分钟/ 三分钟/ 热情/ 学习/ 自然/ 语言/ 处理/ 自然语言处理/ 技术

“自然语言处理”作为一个独立的分词出现。