python 分词工具对比_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP

最新推荐文章于 2024-07-21 16:10:55 发布
最新推荐文章于 2024-07-21 16:10:55 发布
阅读量1.5k 收藏 8
点赞数 1
文章标签： python 分词工具对比
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35219482/article/details/113640817
版权
本文对比了五款流行的Python中文分词工具——Jieba、SnowNLP、PkuSeg、THULAC和HanLP，包括它们的特点、安装方法及分词示例。每个工具都有其独特优势，选择适合业务需求的分词器至关重要。
摘要由CSDN通过智能技术生成

71a701b056b1c4f2a1f2fcc9cbc3416e.png

最近玩公众号会话停不下来： 玩转腾讯词向量：Game of Words(词语的加减游戏) ，准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果：

f8f6a2048299979fe8e8f81148097797.png

现在的开源中文分词工具或者模块已经很丰富了，并且很多都有一些在封闭测试集上的效果对比数据，不过这仅仅只能展现这些分词工具在这个封闭测试集上的效果，并不能全面说明问题，个人觉得，选择一个适合自己业务的分词器可能更重要，有的时候，还需要加一些私人定制的词库。

这次首先选了5款中文分词工具，严格的来说，它们不完全是纯粹的中文分词工具，例如SnowNLP, Thulac, HanLP都是很全面的中文自然语言处理工具，这次，先试水它们的中文分词模块。安装这些模块其实很简单，只要按官方文档的方法安装即可，以下做个简单介绍，在

最低0.47元/天 解锁文章
过烟波
关注
Python-各大中文分词性能评测
08-10
jieba（结巴分词） 免费使用 HanLP（汉语言处理包） 免费使用 SnowNLP（中文的类库） 免费使用 FoolNLTK（中文处理工具包） 免费使用 Jiagu（甲骨NLP） 免费使用 pyltp（哈工大语言云） 商用需要付费 THULAC（清华中文词法分析工具包） 商用需要付费 NLPIR（汉语分词系统） 付费使用
中文分词工具比较
zlhcsm的博客
02-09 1万+
在本篇文章中，将介绍9个常用的分词工具及其对比。 jieba、SnowNLP、北京大学PKUseg、清华大学THULAC、HanLP、FoolNLTK、哈工大LTP、CoreNLP、BaiduLac。 * 部分分词中有可参考的论文。如北大、清华，可引用 文章目录简介1 jieba2 SnowNLP3 北京大学PKUse4 清华大学THULAC5 HanLP6 FoolNLTK比较相关文章参考文献 ...
分词工具对比
最新发布
qq_32907491的博客
07-21 447
中包含了来自这四家单位的训练集（training）、测试集（testing）, 以及根据各自分词标准而提供的相应测试集的标准答案（icwb2-data/scripts/gold）．在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。在第二届国际汉语分词测评中，共有四家单位提供的测试语料（Academia Sinica、 City University 、Peking University 、Microsoft Research）, 在评测提供的资源。
python 分词工具对比_pkuseg-python
weixin_39863008的博客
11-29 232
pkuseg-python：一个高准确度的中文分词工具包pkuseg-python简单易用，支持多领域分词，在不同领域的数据上都大幅提高了分词的准确率。目录主要亮点pkuseg是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。pkuseg具有如下几个特点：高分词准确率。相比于其他的分词工具包，当使用相同的训练数据和测试数据，pkuseg可以取得更高的分词准确率。多领域分词。不...
python 分词工具对比_Ansj与hanlp分词工具对比
weixin_39687990的博客
12-04 191
一、Ansj1、利用DicAnalysis可以自定义词库： 2、但是自定义词库存在局限性，导致有些情况无效：比如：“不好用“的正常分词结果：“不好，用”。(1)当自定义词库”好用“时，词库无效，分词结果不变。(2)当自定义词库“不好用”时，分词结果为：“不好用”，即此时自定义词库有效。3、由于版本问题，可能DicAnalysis, ToAnalysis等类没有序列化，导致读取hdfs数据出错此时需...
python 分词工具对比_PKUSeg-python - python版本：高准确度中文分词工具，简单易用，跟现有开源工具相比大幅提高了分词的准确率。...
weixin_39803207的博客
12-04 154
PythonThis repository contains the code (in PyTorch) for: "LightNet: Light-weight Networks for Semantic Image Segmentation " (underway) by Huijun Liu @ TU Braunschweig. Semantic Segmentation is a sign...
Python分词效果对比
weixin_45899951的博客
12-10 429
Python分词效果对比 jieba分词 # encoding=utf-8 import jieba jieba.enable_paddle()# 启动paddle模式。 0.40版之后开始支持，早期版本不支持 strs=["粘液性水肿。中医古称阳虚水泛。重症肌无力。中医古称筋痿。多睡症。中医古称过力脱气。", "症状是：轻微畏寒，舌质淡红舌苔薄白偏厚，咽喉红肿，脉浮，有力、清晰而且很快，深按下去也差不多，只是跳动的力度稍微弱一点点" ,"多内分泌腺功能减退症—席汉氏综合症。中医古
python语义分词工具包_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
weixin_39545895的博客
12-15 649
最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words(词语的加减游戏)，准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果：现在的开源中文分词工具或者模块已经很丰富了，并且很多...
NLPIR、pyltp、jieba、hanlp、snownlp分词工具安装使用记录
01-21
最近适用了这五款分词工具，光是下载安装就踩了很多坑，特别是pyltp和hanlp，装到我怀疑人生。 以下是整理的安装过程和注意事项。 希望能给大家提供些帮助。 目录一、Nlpir第一步：下载工具。第二步：下载后，解压，...
【基础】中文分词库介绍与比较：jieba、pkuseg、THULAC
[【基础】中文分词库介绍与比较：jieba、pkuseg、THULAC](https://img-blog.csdnimg.cn/ad4be36b74a14412b02ef3f3de626cef.png) # 1. 中文分词概述** 中文分词是自然语言处理（NLP）中的一项基础技术，其目的是将...
python︱六款中文分词模块尝试:jieba、THULAC、SnowNLP、pynlpir、CoreNLP、pyLTP
热门推荐
素质云笔记
08-10 8万+
公众号“素质云笔记”定期更新博客内容： THULAC 四款python中中文分词的尝试。尝试的有：jieba、SnowNLP（MIT）、pynlpir（大数据搜索挖掘实验室（北京市海量语言信息处理与云计算应用工程技术研究中心））、thulac（清华大学自然语言处理与社会人文计算实验室） 四款都有分词功能，本博客只介绍作者比较感兴趣、每个模块的内容。jieba在这不做介绍，可见博客：...
中文分词器比较
仗贱走天涯
02-13 9820
http://blog.csdn.net/u013063153/article/details/72904322
python 分词工具
加菲猫小站
05-21 204
在python这pymmseg-cpp 还是十分方便的！ 步骤: 1 下载mmseg-cpp的源代码 http://code.google.com/p/pymmseg-cpp/ 2 tar -zxf pymmseg-cpp*.tar.gz //解压后得到pymmseg 目录 cd pymmseg\mmseg-cpp python b...
分词工具包比较&jieba分词
stellar68的博客
07-26 977
1 分词工具包介绍 现有中文分词工具包有多种，包括ICTCLAD，MMSEG4J，IKAnalyser，JIEBA，THULAC，HanLP等等。 1.1 JIEBA JIEBA是PYTHON平台上比较活跃的中文分词包 ，它支持三种分词模式： （1）精确模式，试图将句子最精确地切开，适合文本分析； （2）全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； （3）搜索引...
6种分词工具的效率、效果对比
nameforcsdn的博客
07-05 4314
转自：https://www.jianshu.com/p/575fd73ce379 六种分词器使用建议：对命名实体识别要求较高的可以选择HanLP，根据说明其训练的语料比较多，载入了很多实体库，通过测试在实体边界的识别上有一定的优势。中科院的分词，是学术界比较权威的，对比来看哈工大的分词器也具有比较高的优势。同时这两款分词器的安装虽然不难，但比较jieba的安装显得繁琐一点，代码迁移性会相对弱一点...
python实现在线分词
weixin_34198797的博客
11-24 318
写在前面 最近在优化网站的搜索部分，网站是用Django实现的，主要业务是在线视频教育网站，之前搜索只是一段Django ORM模型中的icontains模糊匹配，所以只能搜索关键字，但是CEO(SB)突然又想在网站做个类似于百度问答的功能。但是搜索问题就成了一个棘手的事情，原有搜索不能满足需求，但是调研相关的elasticsearch之...
中文分词性能对比
Yener
01-02 1993
中文分词性能对比 以下分词工具均能在Python环境中直接调用（排名不分先后）。 jieba（结巴分词） 免费使用 HanLP（汉语言处理包） 免费使用 SnowNLP（中文的类库） 免费使用 FoolNLTK（中文处理工具包） 免费使用 Jiagu（甲骨NLP） 免费使用 pyltp（哈工大语言云） 商用需要付费 THULAC（清华中文词法分析工具包） 商用需要付费 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值