jieba（结巴分词）介绍

概念

jieba（结巴分词）是一个用于中文分词的Python第三方库。

使用步骤

使用jieba分词的基本步骤如下：

1. 安装jieba库：在命令行中输入pip install jieba进行安装。
2. 导入jieba库：在Python代码中使用import jieba导入库。
3. 使用jieba分词：调用jieba库中的 cut()方法进行分词。

下面是一个简单的使用案例：

import jieba

# 示例文本
text = "我爱自然语言处理技术"

# 使用jieba进行分词
seg_list = jieba.cut(text)

# 输出分词结果
print(" / ".join(seg_list))

#输出结果：
我/ 爱 / 自然语言 / 处理 / 技术

四种常见的jieba分词模式

1 精确模式：试图将句子最精确地切开，适合文本分析；（不加参数，默认是精确模式）

2 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义（cut_all=True）

3 paddle模式：利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。（应该是百度提供的分词模型）（use_paddle=True）

4 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词（jieba.cut_for_search）

jieba分词的底层实现原理

它基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG），然后采用了动态规划查找最大概率路径，找出基于词频的最大切分组合。