【每日一个GitHub项目】jieba “结巴”Python中文分词

最新推荐文章于 2023-12-11 18:23:59 发布
最新推荐文章于 2023-12-11 18:23:59 发布
阅读量849 收藏
点赞数
文章标签： 自然语言处理 人工智能 python
原文链接：https://github.com/fxsjy/jieba
版权

jieba

地址：https://github.com/fxsjy/jieba
作者：Sun Junyi

jiebaPython中文分词是我在做期末作业的时候，偶然找到的。
jieba和词云组合使用可以对文章进行分析，并取出高频词形成词云。
下图是我的期末作业，对最近大火的《隐秘的角落》原著小说《坏小孩》的分词加词云处理。
对《坏小孩》的高频词提取
jieba有四种分词模式

  • 精确模式，会把句子最精确地切开，适合文本分析
  • 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
  • paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade

jieba特点

  • 支持繁体分词
  • 支持自定义词典
  • MIT授权协议

有多种语言实现

kuchabuku
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python-jieba结巴中文分词做最好的Python中文分词组件
08-10
**Python-jieba结巴中文分词：打造顶级的Python中文处理工具** jieba，一个在Python开发者中广受欢迎的库，被誉为“结巴”中文分词，是处理中文文本的强大武器。它专为了解决中文分词问题而设计，为Python提供了...
jieba GitHUb 结巴分词 jieba分词
逸非羽
08-08 1383
1、GitHub jieba-analysis 结巴分词： https://github.com/fxsjy/jieba 2、jieba-analysis 结巴分词(java版)： https://github.com/huaban/jieba-analysis 3、maven pom.xml 配置： <dependency> <groupId>com.huaban...
jieba GitHUb 结巴分词
weixin_33713707的博客
06-08 1224
1、GitHubjieba-analysis 结巴分词： https://github.com/fxsjy/jieba 2、jieba-analysis 结巴分词(java版)： https://github.com/huaban/jieba-analysis 3、maven pom.xml 配置： <dependency> <groupId>com.hu...
全网最最良心之jieba（结巴）组件入门
weixin_42691420的博客
01-24 1872
本人这篇文章主要目的就是为了吐槽一下网上可以找到的那些关于jieba的小文章，它们的内容基本上都是按照github上jieba的介绍抄来的，让我的学习毫无半点收获！！！本人会在文章中补充我在学习时碰到的不懂得问题和见解，如果有不对的或者是已经过时的地方，请大家及时指正。 1、JIEBA简介 一款中文分词组件，有很多的版本，我现在介绍的呢就是Python实现的jieba中文分词。 在github上可...
Python中文分词 jieba 十五分钟入门与进阶
热门推荐
FontTian的博客
05-27 9万+
jieba 基于Python的中文分词工具,安装使用非常方便,直接pip即可,2/3都可以,功能强悍,博主十分推荐写这篇文章花费两个小时小时,阅读需要十五分钟,读完本篇文章后您将能上手jieba下篇博文将介绍将任意中文文本生成中文词云同时如果你希望使用其它分词工具,那么你可以留意我之后的博客,我会在接下来的日子里发布其他有关内容.
jieba，一个结巴的Python库
激情人生，美好生活
12-11 2865
在自然语言处理任务时，中文文本需要通过分词获得单个的词语，此时一个好的分词工具是非常有必要的。jieba分词是一个开源项目，地址为：[github.com/fxsjy/jieba](github.com/fxsjy/jieba)。目前是国内最好的中文分词Python库，它在分词准确度和速度方面均表现非常不错。
Python结巴中文分词工具使用过程中遇到的问题及解决方法
01-20
本文实例讲述了Python结巴中文分词工具使用过程中遇到的问题及解决方法。分享给大家供大家参考，具体如下： 结巴分词是Python语言中效果最好的分词工具，其功能包括：分词、词性标注、关键词抽取、支持用户词表等。...
结巴分词jar包
05-15
“结巴”中文分词：做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module. Scroll down for English ...
python实现的读取网页并分词功能示例
01-02
本文实例讲述了python实现的读取网页并分词功能。分享给大家供大家参考，具体如下： 这里使用分词使用最流行的分词包jieba，参考：https://github.com/fxsjy/jieba 或点击此处本站下载jieba库。 代码： import ...
fenci:学习结巴中文分词
07-15
在中文处理中，分词是基础步骤，它将连续的汉字序列切分成一个个有意义的词语，这对于文本分析、信息检索、机器翻译等领域至关重要。 【描述】提到的“fenci”是jieba分词库的简称，"学习结巴中文分词"意味着我们将...
结巴分词（支持词性标注）
12-17
结巴分词早期版本。 * 结巴分词(java版) jieba-analysis 首先感谢jieba分词原作者[[https://github.com/fxsjy][fxsjy]]，没有他的无私贡献，我们也不会结识到结巴 分词，更不会有现在的java版本。 结巴分词的原始版本为python编写，目前该项目在github上的关注量为170， 打星727次（最新的数据以原仓库为准），Fork238次，可以说已经有一定的用户群。 结巴分词(java版)只保留的原项目针对搜索引擎分词的功能(cut_for_index、cut_for_search)，词性标注，关键词提取没有实现(今后如用到，可以考虑实现)。 * 简介 ** 支持分词模式 - Search模式，用于对用户查询词分词 - Index模式，用于对索引文档分词 ** 特性 - 支持多种分词模式 - 全角统一转成半角 - 用户词典功能 - conf 目录有整理的搜狗细胞词库 - 支持词性标注(感谢 [[https://github.com/linkerlin][@linkerlin]] 的贡献) * 如何获取 - 当前稳定版本 #+BEGIN_SRC xml com.huaban jieba-analysis 0.0.2 #+END_SRC - 当前快照版本 - 支持词性标注 [[https://github.com/huaban/jieba-analysis/pull/4][#4]] - 修复以'-'连接词分词错误问题 [[https://github.com/huaban/jieba-analysis/issues/3][#3]] #+BEGIN_SRC xml com.huaban jieba-analysis 1.0.0-SNAPSHOT #+END_SRC * 如何使用 - Demo #+BEGIN_SRC java @Test public void testDemo() { JiebaSegmenter segmenter = new JiebaSegmenter(); String[] sentences = new String[] {"这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。", "我不喜欢日本和服。", "雷猴回归人间。", "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作", "结果婚的和尚未结过婚的"}; for (String sentence : sentences) { System.out.println(segmenter.process(sentence, SegMode.INDEX).toString()); } } #+END_SRC * 算法(wiki补充...) - [ ] 基于 =trie= 树结构实现高效词图扫描 - [ ] 生成所有切词可能的有向无环图 =DAG= - [ ] 采用动态规划算法计算最佳切词组合 - [ ] 基于 =HMM= 模型，采用 =Viterbi= (维特比)算法实现未登录词识别 * 性能评估 - 测试机配置 #+BEGIN_SRC screen Processor 2 Intel(R) Pentium(R) CPU G620 @ 2.60GHz Memory：8GB 分词测试时机器开了许多应用(eclipse、emacs、chrome...)，可能 会影响到测试速度 #+END_SRC - [[src/test/resources/test.txt][测试文本]] - 测试结果(单线程，对测试文本逐行分词，并循环调用上万次) #+BEGIN_SRC screen 循环调用一万次 第一次测试结果： time elapsed:12373, rate:2486.986533kb/s, words:917319.94/s 第二次测试结果： time elapsed:12284, rate:2505.005241kb/s, words:923966.10/s 第三次测试结果： time elapsed:12336, rate:2494.445880kb/s, words:920071.30/s 循环调用2万次 第一次测试结果： time elapsed:22237, rate:2767.593144kb/s, words:1020821.12/s 第二次测试结果： time elapsed:22435, rate:2743.167762kb/s, words:1011811.87/s 第三次测试结果： time elapsed:22102, rate:2784.497726kb/s, words:1027056.34/s 统计结果:词典加载时间1.8s左右，分词效率每秒2Mb多，近100万词。 2 Processor Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz 12G 测试效果 time elapsed:19597, rate:3140.428063kb/s, words:1158340.52/s time elapsed:20122, rate:3058.491639kb/s, words:1128118.44/s #+END_SRC
自然语言处理基础——jieba分词的原理与使用方法
小哈里的博客
05-08 5488
文章目录1 什么是jieba 1 什么是jieba 自然语言处理，特别是中文处理中，最好用的分词组件。 开源项目：https://github.com/fxsjy/jieba
NLP基本工具之jieba详解
AI人工智能与大数据
04-22 1785
jieba的作用只有分词吗？ 公众号持续更新，欢迎订阅。 AI人工智能与大数据 简介 jieba（结巴）是百度工程师Sun Junyi开发的一个开源库，在GitHub上很受欢迎，使用频率也很高。 GitHub链接：https://github.com/fxsjy/jieba 转存失败重新上传取消转存失败重新上传取消 jieba最流行的应用是分词，包括介绍页面上也称之为...
jieba分词库的安装与使用
Explore
03-16 2864
Anaconda安装jieba GitHub: jieba 方式一： 直接在Anaconda Prompt输入：conda install -c conda-forge jieba。 方式二： 1.下载jieba压缩包：jieba 2. 将压缩包解压到anaconda下的pkgs目录下， 3. 进入pkgs目录下的jieba-0.39（或其他版本），打开命令行窗口（shift+右键），输入pyth...
对Python中文分词模块结巴分词算法过程的理解和分析
weixin_30322405的博客
09-30 338
结巴分词是国内程序员用python开发的一个中文分词模块, 源码已托管在github, 地址在: https://github.com/fxsjy/jieba 作者的文档写的不是很全, 只写了怎么用, 有一些细节的文档没有写. 以下是作者说明文件中提到的结巴分词用到的算法: 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（D...
IKAnalyzer - 开源中文分词器
Lazyafei's Blog
12-20 644
https://code.google.com/archive/p/ik-analyzer/ 源项目作者 linliangyi2007@gmail.com 已不再维护，个人可以fork项目进行修改，github地址：GitHub - wks/ik-analyzer: No longer maintained. Please contact the origional author. IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始
php 开源分词,GitHub - hightman/scws: 开源免费的简易中文分词系统，PHP分词的上乘之选！...
weixin_39783149的博客
03-10 231
README of SCWS$Id$SCWS 简介SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即：简易中文分词系统)。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开，所以如何准确并快速分词一直是中文分词的攻关难点。SCWS 采用纯 C 语言开发，不...
NLP-结巴分词
陈建驱的博客
08-21 2193
结巴分词 结巴分词是有国内程序员(https://github.com/fxsjy/jieba)做的一个分词工具，刚开始是Python版本的，后来由anderscui(https://github.com/anderscui/jieba.NET )移植到.Net上面。 结巴分词的分词过程大致为： ·前缀词典（Trie）：用于存储主词典，也可以动态增删词条，这个词典可以理解为jieba所“知道”的词，或者说已登录词； ·有向无环图（DAG）：通过前缀词典，可以找出句子所有可能的成词结果； ·最大概率
python 结巴分词(jieba)学习
无限大地NLP_空木的专栏
10-26 3万+
源码下载的地址：https://github.com/fxsjy/jieba 演示地址：http://jiebademo.ap01.aws.af.cm/ 特点 1，支持三种分词模式：     a,精确模式，试图将句子最精确地切开，适合文本分析；      b,全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；      c,搜索引擎模式，在
100个Github Python项目
最新发布
04-22
1. **awesome-python-webapp**：这是一个基于廖雪峰老师的Python入门教程的实践项目，可以帮助初学者理解Python Web开发的基本概念。 2. **Minos**：基于Tornado、MongoDB和Redis的社区系统，涉及到Python Web框架...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值