jieba库的基本使用

夏木夕

已于 2022-09-30 15:29:17 修改

阅读量379

点赞数

分类专栏： python 文章标签： python 开发语言

于 2022-09-30 12:15:21 首次发布

本文链接：https://blog.csdn.net/hu_wei123/article/details/127121301

版权

29 篇文章 3 订阅

订阅专栏

本文介绍了jieba库的安装与使用，重点讲解了精准模式和全模式下的分词效果。精准模式力求每个词语最精确的切割，适合文本分析；全模式则将所有可成词的词语都提取出来，速度快但可能存在歧义。示例展示了两种模式下对‘我来到北京清华大学’的分词结果。

摘要由CSDN通过智能技术生成

安装 jieba 库：pip intall jieba
使用 jieba 库：import jieba

jieba.cut()

jieba.lcut()

参数：

精准模式(默认) cut_all=False：试图将句子最精确地切开，适合文本分析

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精准模式: " + "/ ".join(seg_list))  # 精确模式

# -----output-----
精准模式: 我/ 来到/ 北京/ 清华大学

全模式 cut_all=True：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

# -----output-----
全模式: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

关注

专栏目录