python中文分词工具jieba_Python 流行的中文分词工具之一 jieba

jieba分词是Python 里面几个比较流行的中文分词工具之一。为了理解分词工具的工作原理，以及实现细节对jieba进行了详细的阅读。

读代码之前，我有几个问题是这样的：

分词工具的实现都有哪几个步骤?

结巴分词的文档说是使用了HMM模型，但是HMM 模型是如何运用在分词工具中的？，以及模型是如何产生的？

几乎所有的分词工具都支持用户添加词库，但是用户词库到底在分词过程中扮演什么角色？

简介

jieba 分词支持三种分词模式，官方文档给出了如下的Example

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

importjieba

seg_list=jieba.cut("我来到北京清华大学",cut_all=True)

print("Full Mode: "+"/ ".join(seg_list))# 全模式

seg_list=jieba.cut("我来到北京清华大学",cut_all=False)

print("Default Mode: "+"/ ".join(seg_list))# 精确模式

seg_list=jieba.cut("他来到了网易杭研大厦")# 默认是精确模式

print(", ".join(seg_list))

seg_list=