python 结巴(jieba)库 操作使用说明

Python jieba库的使用说明

1、jieba库基本介绍
(1)、jieba库概述

     jieba是优秀的中文分词第三方库
     - 中文文本需要通过分词获得单个的词语
     - jieba是优秀的中文分词第三方库，需要额外安装
     - jieba库提供三种分词模式，最简单只需掌握一个函数

(2)、jieba分词的原理

     Jieba分词依靠中文词库
     - 利用一个中文词库，确定汉字之间的关联概率
     - 汉字间概率大的组成词组，形成分词结果
     - 除了分词，用户还可以添加自定义的词组

2、jieba库使用说明
(1)、jieba分词的三种模式

     精确模式、全模式、搜索引擎模式
     - 精确模式：把文本精确的切分开，不存在冗余单词
     - 全模式：把文本中所有可能的词语都扫描出来，有冗余
     - 搜索引擎模式：在精确模式基础上，对长词再次切分

(2)、jieba库常用函数

 # "default" or "search", "search" 用户已更精准的分段 默认default
result = jieba.tokenize('我来到北京清华大学', mode="search") 

示例

import jieba
seg_list = jieba.lcut("我来到北京清华大学")
for tk in seg_list:
    print(tk)

# 输出文字位置
result = jieba.tokenize('我来到北京清华大学', mode="search")
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))

输出结果