Python基础库之jieba库的详细使用方法（第三方中文词汇函数库）

最新推荐文章于 2024-04-29 17:55:25 发布
VIP文章 最新推荐文章于 2024-04-29 17:55:25 发布
阅读量8.8k 收藏 57
点赞数 14
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42625143/article/details/102503056
版权

各位学python的朋友，是否也曾遇到过这样的问题，举个例子如下：

I am proud of my motherland

如果我们需要提取中间的单词要走如何做？

自然是调用string中的split()函数即可
在这里插入图片描述
那么将这转换成中文呢，“我为我的祖国感到骄傲”再分词会怎样？

中国词汇并不像是英文文本那样可以通过空格又或是标点符号来区分，

这将会导致比如“骄傲”拆开成“骄”、“傲”，又或者将“为”“我的”组合成“为我的”等等

那如何避免这些问题呢？ 这就用到了今天介绍的python基础库——jieba库

这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、
爬虫、数据分析、数据可视化、机器学习等。
小编这里推荐加小编的python学习群：895,817, 687

一、什么是jieba库？

jieba库是优秀的中文分词第三方库 ，它可以利用一个中文词库，确定汉字之间的关联概率将汉字间概率大的组成词组，形成分词结果，将中文文本通过分词获得单个的词语。jieba分词的三种模式 ：精确模式、全模式、搜索引擎模式

  • 精确模式：把文本精确的切分开，不存在冗余单词
  • 全模式：把文本中所有可能的词语都扫描出来，有冗余
最低0.47元/天 解锁文章
Python之眼
关注
  • 14
    点赞
  • 踩
  • 57
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Jieba库基本用法
Dandelion_6的博客
09-08 5130
Jieba库对中文分词的支持下较好，将文本分成粒度更细的词。 一、 特点 （一）支持三种分词模式： 1、 精确模式，试图将句子最精确地切开，适合文本分析； 2、 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义； 3、 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率。适合用于搜索引擎分词。 （二）支持繁体分词 （三）支持自定义分词 （四）MIT授权协议 二...
jieba库的基本使用
01-07
分词 import jieba # 朱自清散文节选 text = '人生就是一种承受，一种压力，让我们在负重中前行，在逼迫中奋进。无论走到哪里，我们都要学会支撑自己，没有人陪你走一辈子，所以你要适应孤独，没有人会帮你一辈子，所以你要奋斗一生。' seg_text = jieba.cut(text, cut_all=False) print('/'.join(seg_text)) 人生/就是/一种/承受/，/一种/压力/，/让/我们/在/负重/中/前行/，/在/逼迫/中/奋进/。/无论/走/到/哪里/，/我们/都/要/学会/支撑/自己/，/没有/人/陪你走/一辈子/，/所以/你/要/适应/孤独
Python学习之安装使用第三方库jieba以及wordcloud
12-21
需要的工具：PyCharm以及Python3.8 安装使用第三方库jieba 1.打开终端（Teminal）  2.安装jieba(图为安装好的，等待的时间有点长………..) 3.出现下图，表示jieba安装成功    4.使用jieba # 能够将一段中文文本分割成中文词语的序列 import jieba s=jieba.lcut('能够将一段中文文本分割成中文词语的序列') print(s)  控制台输出： D:\pythoncode\venv\Scripts\python.exe D:/pythoncode/1.py Building prefix dict from t
Python程序：jieba库主要功能与用法以及词频统计
qq_45037797的博客
09-03 4429
一、jieba功能用法 1.cut函数用法 jieba.cut(s,cut_all=False,HMM=True) #参数s为字符串；cut_all参数用来控制是否采用全模式；HMM参数为隐马尔科夫模型算法。 （注：HMM实际上是一个双重随机过程：底层是马尔科夫模型的概率状态转移过程，另一重是从底层状态到表面观察值的随机过程；实质就是隐藏了状态的马尔科夫模型，模型状态不能直接看见只能观察到由状态...
python :jieba库的使用大全
总裁余（余登武）博客
09-10 6658
安装 jieba 是一个第三方库，所有需要我们在本地进行安装。 Windows 下使用命令安装：在联网状态下，在anaconda命令行下输入 pip install jieba 进行安装，安装完成后会提示安装成功 . 分词使用 分词的语法就不讲解啦，什么前向匹配，逆向匹配，还需要一个足够大的本地词典。自己构造挺麻烦的。 直接使用包吧。 直接使用jieba.cut #!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Author: yudengwu(余登武） #
python中jieba库使用教程
kaimMarch的博客
09-23 2万+
jieba是python的一个中文分词库，下面介绍它的使用方法。 安装 方式1： pip install jieba 方式2： 先下载 http://pypi.python.org/pypi/jieba/ 然后解压，运行 python setup.py install 功能 下面介绍下jieba的主要功能，具体信息可参考github文档：https://github.com/fxsjy/jieba 分词 jieba常用的三种模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式
python引入jieba库（引入第三方库的方法）
爱上甜甜
09-05 3万+
1.在没有引入之前，import jieba[显示：No module named 'jieba'] 2.下载第三方库到自己的电脑，譬如jieba(官方下载地址):  https://pypi.org/project/jieba/ 3.而后通过cmd运行，参考如下： 参考网址：https://blog.csdn.net/sanqima/article/details/50965439 ...
Python:jieba库的介绍与使用
热门推荐
weixin_61631131的博客
04-19 5万+
前言： jieba是优秀的中文分词第三方库，由于中文文本之间每个汉字都是连续书写的，我们需要通过特定的手段来获得其中的每个词组，这种手段叫做分词，我们可以通过jieba库来完成这个过程。 目录： 一、jieba库基本介绍 (1)jieba库概述 ①jieba是优秀的中文分词第三方库 ②中文文本需要通过分词获得单个的词语③jieba是优秀的中文分词第三方库，需要额外安装 ④jieba库提供三种分词模式，最简单只需掌握一个函数 (2)jieba分词的原理 ①分词...
python之jieba分词库使用
陌北v1的博客
06-25 8138
jieba库是一款开源的中文分词工具，能够将中文文本切分成词语。使用和可在程序中动态修改词典。如果有一个包含自定义词语的文件，可以使用方法加载该文件，并将其中的词语加入到词典中。本教程介绍了Python中jieba库的基本使用方法和常用功能，包括分词基础、自定义词典、关键词提取、词性标注、并行分词和Tokenize接口。通过学习和掌握这些功能，你可以在中文文本处理中灵活应用jieba库，实现有效的分词、关键词提取和词性标注等任务。
python第三方库--jieba库
m0_54510474的博客
10-02 2202
中文分词第三方库，用于将文本分割为单个词语利用一个中文词库，确定中文字符之间的关联概率，关联概率大的组成词组形成分词结果对于某一段文本，如果jieba库的某些分词结果不太令人满意，可以通过自定义进行修改，下面来看一个例子。
第三方库jieba.zip
07-21
分享python jieba库 优秀的第三方中文分词库
计算机二级python题库-基本操作题之jieba分词.zip
03-24
计算机二级python题库 计算机二级python题库_基本操作题之jieba分词
Python库 | jieba-0.31.zip
04-30
资源分类：Python库 所属语言：Python 资源全名：jieba-0.31.zip 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | jieba_fast-0.51.tar.gz
04-10
资源分类：Python库 所属语言：Python 资源全名：jieba_fast-0.51.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
[python3] 读取一个正在更新的日志文件
言之。
04-24 854
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 1020
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（二十二）
龙哥盟
04-24 1151
原文：pandas.pydata.org/docs/ 时间增量 原文：pandas.pydata.org/docs/user_guide/timedeltas.html 时间增量是时间之间的差异，以不同的单位表示，例如天、小时、分钟、秒。它们可以是正数也可以是负数。 Timedelta是datetime.timedelta的子类，并且行为类似，但也允许与np.timedelta64类型兼容，以及一系列自定义表示、解析和属性。 解析 您可以通过各种参数构造一个Timedelta标量，包括ISO 860
Pandas 2.2 中文官方教程和指南（十五）
龙哥盟
04-24 756
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
superset部署与实践
最新发布
m0_60125201的博客
04-29 634
本博客简要介绍了superset这个BI工具，使用两种方法来部署superset，并简单介绍了superset的使用。
python代码排除词汇库_Python基础库之jieba库的使用（第三方中文词汇函数库）
06-07
使用Python内置的字符串操作和列表操作可以实现排除词汇库的功能。具体步骤如下： 1. 定义需要排除的词汇列表exclude_words。 2. 对输入的文本进行分词，得到分词结果words_list。 3. 使用列表推导式和if条件语句，将words_list中不在exclude_words列表中的词汇筛选出来，得到排除词汇后的分词结果filtered_words_list。 示例代码如下： ```python exclude_words = ['的', '了', '是', '我', '你'] text = '我喜欢吃苹果，但是我不喜欢吃橙子。' import jieba words_list = jieba.lcut(text) filtered_words_list = [word for word in words_list if word not in exclude_words] print(filtered_words_list) # 输出：['喜欢', '吃', '苹果', '但是', '不', '喜欢', '吃', '橙子', '。'] ``` 需要注意的是，这种方法只适用于简单的文本处理，如果需要进行更复杂的自然语言处理，建议使用第三方中文词汇函数库，例如jieba。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值