jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式、全模式和搜索引擎模式,下面是三种模式的特点。
精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析
全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据
搜索引擎模式:在精确模式的基础上,对长词再次进行切分
一、jieba库的安装
因为 jieba 是一个第三方库,所有需要我们在本地进行安装。
Windows 下使用命令安装:在联网状态下,在命令行下输入 pip install jieba进行安装,安装完成后会提示安装成功
在 pyCharm 中安装:打开settings,搜索 Project Interpreter,在右边的窗口选择 + 号,点击后在搜索框搜索 jieba,点击安装即可
二、jieba三种模式的使用
#-*- coding: utf-8 -*-
importjieba
seg_str= "好好学习,天天向上。"
print("/".join(jieba.lcut(seg_str))) #精简模式,返回一个列表类型的结果
print("/".join(jieba.lcut(seg_str, cut_all=True))) #全模式,使用 'cut_all=True' 指定
print("/".join(jieba.lcut_for_search(seg_str))) #搜索引擎模式