jieba分词提高分词速度

最新推荐文章于 2024-03-30 16:45:33 发布
最新推荐文章于 2024-03-30 16:45:33 发布
阅读量2.4k 收藏 5
点赞数
分类专栏： 工具 文章标签： 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40153533/article/details/108967664
版权

自定义词典

为了保证抽取的准确率，一般会选择自定义词典

形式

词 词频 词性
eg:
在这里插入图片描述

如果新加的词汇不知道该怎么设置的话，可以写成：词 3 n

添加形式
  1. 默认位置
    位于：python目录下的jieba包中有个dict.txt。
    例如我的就是，E:\Python36\Lib\site-packages\jieba
  2. 定义文件目录
    在自己的文件下进行词语的遍历
    使用：jieba.add_word(‘词’)

加载自定义词库太慢

jieba启动需要完成两件事情：

  1. 加载默认词库
  2. 将默认词库模型 加载到本机缓存，之后每次都从本地缓存中去加载默认词库
    缓存文件： jieba.cache
    位置：C:\Users\***\AppData\Local\Temp\jieba.cache

我们需要做的：

  1. 修改dict.txt文件：按照规范将要添加的词写入dict.txt中
  2. 删除jieba的本地缓存文件jieba.cache
    cache文件位置：C:\Users\***\AppData\Local\Temp\jieba.cache
  3. 删除缓存，重启jieba

这样就搞定啦~

效果

速率从600多秒提高到14秒，效果显著~

小李爱吃猕猴桃
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
解决NLPIR-ICTCLAS2014分词系统词库过大，造成读取缓慢问题
08-04
解决NLPIR-ICTCLAS2014分词系统词库过大，造成读取缓慢问题 需要结合我的blog来看： http://blog.csdn.net/zengraoli/article/details/38369969
python jieba库的使用
zmj11_的博客
08-19 1677
jieba库的使用 jieba库是python中一个重要的第三方中文分词函数库。 我们pycharm是没有安装jieba库的，因此需要我们手动安装jieba库。
java结巴分词_结巴分词 java 高性能实现，优雅易用的 api 设计，性能优于 huaban jieba 分词...
weixin_34856060的博客
02-12 517
SegmentSegment 是基于结巴分词词库实现的更加灵活，高性能的 java 分词实现。创作目的分词是做 NLP 相关工作，非常基础的一项功能。jieba-analysis 作为一款非常受欢迎的分词实现，个人实现的 opencc4j 之前一直使用其作为分词。但是随着对分词的了解，发现结巴分词对于一些配置上不够灵活。(1)有很多功能无法指定关闭，比如 HMM 对于繁简体转换是无用的，因为繁体词...
精准定制：利用本地词库优化Jieba分词，提升景区评论数据LDA建模效果
最新发布
kilig_CSM的博客
03-30 341
在进行景区评论数据的LDA建模时，精确的分词是至关重要的。然而，通用的分词工具在处理特定领域的文本时可能表现不佳。针对这一挑战，本文探讨了如何利用本地词库，特别是搜狗词库中关于旅游领域的专业词汇，对Jieba分词进行精细化调整。通过这种方式，我们可以实现对景区评论数据的更精准、更有效的LDA建模，从而揭示出更深层次的见解和洞察。本文将探讨如何结合本地词库定制词典，优化分词过程，从而提升LDA模型的表现，为景区评论数据的分析与应用提供更可靠的基础。
jieba分词paddle模式性能测试
learn_forlife的博客
11-04 4514
**在使用jieba分词时发现分词速度比较慢，由于一直默认使用的paddle模式，好奇是不是该模式拖慢了运行速度，因此想着对比一下paddle模式相比默认模式的分词和运行速度上的差异。 ** # 准备了100条语料 len(corpus) Out[112]: 100 corpus[0] Out[113]: '勒布朗承受压力远超乔丹 公牛王朝首冠曾充满争议新浪体育讯北京时间3月18日 迈克尔-乔丹是公认的篮球史上最杰出、最伟大的23号。8年前，一个仰慕他的年轻人在克利夫兰穿上了23号，他希望能够达到偶像的高
python结巴分词的缺点_Python的结巴分词处理大文件如何优化可提高速度？
weixin_39833429的博客
11-30 608
可以试试jieba_fast, 我觉得python jieba太慢，使用 c 重写了jieba分词库中的核心函数，提速jieba 50%左右特点对两种分词模式进行的加速：精确模式，搜索引擎模式利用cpython重新实现了 viterbi 算法，使默认带 HMM 的切词模式速度提升 60%左右利用cpython重新实现了生成 DAG 以及从 DAG 计算最优路径的算法，速度提升 50%左右基本只是替...
java中文分词工具_对Pandas百万级文本进行中文分词加速，看这一篇就足够了
weixin_39637386的博客
12-03 732
一、摘要很多NLP相关的任务都需要分词，而当文本语料比较多时，用python处理分词任务的过程会比较消耗时间。本文测试了对pandas百万级中文语料分词的多种实现方案和相应的执行时间，希望读者可以根据本次实验的结果选择适合自己的实现方式，节约分词任务带来的时间损耗。尤其是在没有集群环境下，需要在单机上处理大量文本分词任务时，可以有所参考。我们测试的多种方案中，最好的方案比最差的方案速度提升了318...
jieba分词 cache问题
weixin_44234050的博客
05-15 319
jieba分词 cache问题
jieba分词使用记录
戏法空间
03-04 267
jieba分词核心分词由两部分组成。对于在词典里的字词建立字典树（trie），在搜索的时候必须从根节点搜索到叶子节点才算一个词；对于不在字典里的字词使用HMM模型根据最大可能性进行分词 每次运行jieba分词时程序会先检查是否存在jieba.cache这个文件。如果存在直接使用这个文件中的信息，否则重新根据词典建树并生成新的jieba.cache。所以每次在使用新的词典之前需要把这个文件删除。 字词在词典中根据频率（待考证）赋值。具体到分词方案，jieba分词会根据较大的权值分词。所以如果希望把原先是两个.
jieba分词太慢，怎么办？找jieba_fast
古月哲亭
08-03 4885
有时候感觉处理一个几十M的文本，要一分钟才能好，然后调试时各种心焦！ 下面举个例子： 归零有一个11.9M的文本文件，是一些抓取到的Python长尾关键词，我们拿它做个实验，看看用jieba分词需要多久： 以下为测试代码： # -*- coding: utf-8 -*- # Author : Alven.Gu import time import jieba def timmer(func):     def deco(*args, **kwargs):    .
解决jieba分词 load_userdict 加载自定义词库太慢的问题
热门推荐
李BOY的博客
12-24 3万+
@(Python) 文章目录1. 技术背景2. 结巴分词加载自身词库方法介绍3. 修改jieba默认词库4. 清除 jieba.cache缓存,重启jieba5.效果展示5.1 没修改词库前5.2 修改词库后6. 结论 1. 技术背景 import jieba jieba.load_userdict("100MB.txt") 问题来源 相信大家对上面2句话很熟悉,jieba分词加载自定义...
语言分词学习--jieba分词包
ambition_zhou的博客
06-09 863
Anaconda，中文大蟒蛇，是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项 Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等 conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换在cmd中输入下述指令： （2）使用步骤 安装包 导入包 调用包 HMM参数表示分词粒度 分词结果是一个pair 总的步骤： n-普通名称
jieba分词详解和实践
01-20
jieba分词是目前最好的 python中文分词组件。在讲解jieba分词之前，我们先了解一下中文分词的一些概念： 最常用的TF-IDF 什么是TF-IDF呢？要分成2个部分来理解。 TF，词频——一个词在文章中出现的次数 IDF，在词频...
少年街霸游戏程序
10-29
少年街霸游戏，小时候经常玩的游戏，可以回忆下童年。
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件
11-03
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件 老王的原创教程见《手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》 https://orzgame.blog.csdn.net/article/details/109402316
街霸4设置汉化补丁
04-07
街霸4设置汉化补丁,界面汉化补丁,使用与街霸43DM
街霸：隆的模型（不含绑定）Blender源文件
11-01
《【手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》中使用的模型 教程地址：https://orzgame.blog.csdn.net/article/details/109402316
利用multiprocessing提升jieba分词效率
qq_28969139的博客
07-20 1980
在上一篇中，介绍了一个python的多进程数组映射的方法。 https://blog.csdn.net/qq_28969139/article/details/96608611 jieba分词同样可以视为数组映射的过程 def func(params): jobList = params['jobList'] stopwords = params['stopwords...
Jieba分词的准确率提升：使用paddle模式进行分词（使用百度飞桨深度学习模型进行分词）
Hello Word
03-27 3436
jieba中的paddle模式是指使用飞桨（PaddlePaddle）深度学习框架加速分词的一种模式。相对于传统的分词算法，paddle模式采用了深度学习模型，可以获得更高的分词准确度和更快的分词速度。paddle模式是基于卷积神经网络（Convolutional Neural Network, CNN）实现的。在训练过程中，使用了中文Wikipedia语料库和自动标注语料库，对分词任务进行了有监督的训练。
jieba分词年月日
08-12
jieba分词库不提供直接分词出年月日的功能。但是，你可以根据分词结果中的词语进行处理和判断，以提取出年月日信息。例如，你可以使用正则表达式或其他方法来匹配包含年、月、日的词语，并将其组合在一起形成日期。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [python --jieba 分词](https://blog.csdn.net/weixin_62816287/article/details/124024859)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [街霸对决：2021年1月14日更新维护公告](https://blog.csdn.net/weixin_28754365/article/details/119293005)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值