mysql调用jieba库_jieba库的使用

本文介绍了如何在Python中使用jieba库进行中文分词,包括jieba库的安装、三种分词模式(精确、全、搜索引擎)的使用,以及如何向词库添加自定义词组。示例代码演示了不同分词模式的效果,并展示了添加新词后的分词变化。
摘要由CSDN通过智能技术生成

jieba是python的第三方库,使用jieba库需要先安装。jieba是一个中文分词库,可以根据所给的中文句子,提取出可能的词组

jieba库分词依靠词库。利用中文词库,确定汉字之间的关联概率。概率大的组成词组,形成分词效果。除了分词,用户还可以添加自定义的词组

jieba提供了三种分词模式,精确模式、全模式和搜索引擎模式

安装jieba库,在命令行中输入以下语句就可以安装,前提是安装了python和pip

pip install jieba

jieba库常用函数有四个,分别对应三种分词模式和一种向词库添加新词的功能

1、lcut(s)

精确模式,返回一个列表类型的分词结果,不存在冗余词

import jieba

str="世界那么大,我想去看看"

s=jieba.lcut(str)

print(s)

运行结果:

['世界', '那么', '大', ',', '我', '想', '去', '看看']

2、lcut(s,cut_all=True)

全模式,返回一个列表类型分词结果,存在冗余。

import jieba

str="世界那么大,我想去看看"

s=jieba.lcut(str,cut_all=True)

print(s)

运行结果:

['世界', '那么', '大', ',', '我', '想去', '看看']

3、lcut_for_search(s)

搜索引擎模式,返回一个列表类型的分词结果,存在肉哦能够与。是在精确模式的基础上,对长词再次划分

import jieba

str="世界那么大,我想去看看"

s=jieba.lcut_for_search(str)

print(s)

运行结果:

['世界', '那么', '大', ',', '我', '想', '去', '看看']

4、add_word(w)

向分词词典中添加新词w

import jieba

str="世界那么大,我想去看看"

s1=jieba.lcut(str)

print(s1) #添加分词前的分词效果

jieba.add_word('世界那么')

s2=jieba.lcut(str)

print(s2) #添加分词的后的分词效果

运行结果:

['世界',‘那么', '大', ',', '我', '想', '去', '看看']

['世界那么', '大', ',', '我','想','去', '看看']

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值