机器学习 -- jieba库

jieba库是用于自然语言处理的工具,特别适合中文分词任务。它提供了精确模式、全模式和搜索引擎模式三种分词方式。精确模式确保文本分析的准确性,全模式扫描所有可能的词,而搜索引擎模式则在精确基础上提高召回率,适用于搜索引擎。通过不同模式的调用,可以灵活处理各种文本场景。
摘要由CSDN通过智能技术生成

一. jieba库是什么?

1. jieba库是一个用于NLP,即自然语言分析的工具。

2. 中文是紧凑连接的,词与词之间不用空格来分割,而当我们进行自然语言处理或者语音识别,或者进行其他的文本操作时,在大部分情况下,词汇是文本的核心,是进行文本处理的前提。因此我们需要一个能把完整文本分解为具体的词的简单高效的工具,为文本处理做出更加准确的词库。这样的操作称为“分词”。jieba是一个对新手非常友好的分词工具

二. jieba库的模式

有三种模式的使用:

1. 精确模式

将句子最精确地切开,适合文本分析。

默认调用:jieba.lcut(text)

案例:

import jieba

text1 = "今天真是一个好日子!"
print(jieba.lcut(text1))

运行效果:


2. 全模式

把句子中所有可能成词的词与都扫描出来,但是不能解决歧义。

调用:jieba.lcut(text, cut_all=True)

案例:

代码:


                
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值