哈哈~自己的分词包发布！

最新推荐文章于 2024-05-31 10:46:10 发布
最新推荐文章于 2024-05-31 10:46:10 发布
阅读量1.1k 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/doomhuntercj/article/details/1499111
版权

呵呵，在JAVA下搞了不少的时间了，写了个带词性标注的中文分词的包！

由于本来公司应用的对于分词的精度要求并不是太高，所以暂时实现了一个没用加入歧义消除的包！

采用的基本方法是， 正向匹配，反向匹配，人名，地名，西文名，词缀部门名，数量词识别。

并且可以按照给定的tag来保留应用所需要的词性的词汇，比如相关新闻计算时，保留动名，名词等词性的就可以了！

性能：load词库需要1s，分词340个需要17-8毫秒。

有兴趣的朋友可以跟帖或者留言进行交流！

 

doomhuntercj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
thulac.models 模型下载 清华分词工具包
03-28
thulac.models 清华分词工具包 THULAC 测试可用
jieba分词工具包下载
11-16
python-jieba文件包，解压后将两个文件夹放入 工程文件--->venv(或自定义的配置文件夹）--->Lib--->site-packages中使用
postgresql 分词_使用PostgreSQL进行全文检索
weixin_39736650的博客
12-24 968
前言PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文 空间索引 - 各数据库空间索引使用报告 有了一个交代。由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用 PgSQL。而且目前在灰度测试刚布了一台机器，后续可能还要添加...
mysql 中文分词搜索_php中文分词搜索
weixin_39636164的博客
01-27 180
本篇文章主要介绍php中文分词搜索，感兴趣的朋友参考下，希望对大家有所帮助。1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后文件的路...
php分词搜索,php实现scws中文分词搜索的方法
weixin_30662937的博客
03-10 457
本文实例讲述了php实现scws中文分词搜索的方法。分享给大家供大家参考，具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wamp/scws2、php.ini 中配置extension = php_scws.dllscws.default.charset = utf8 //配置默认的编码方式scws.default.fpath = "E:/wamp/scws" //加压后...
postgresql 分词_使用PostgreSQL进行中文全文检索
weixin_36403587的博客
01-14 134
前言PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文 空间索引 - 各数据库空间索引使用报告 有了一个交代。由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用 PgSQL。而且目前在灰度测试刚布了一台机器，后续可能还要添加...
php 搜索引擎 分词_怎么在php中使用scws实现一个中文分词搜索功能
weixin_29084231的博客
03-08 192
怎么在php中使用scws实现一个中文分词搜索功能发布时间：2021-02-11 19:31:47来源：亿速云阅读：63作者：Leah本篇文章给大家分享的是有关怎么在php中使用scws实现一个中文分词搜索功能，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。具体如下：1、4个文件(本站下载地址。)解压后，放到一个地方 eg:E:/wam...
【中文分词】基于ICTCLAS的Python中文分词
CD's Coding
07-20 5901
前言 在ICT实习获得的第一个任务与中文分词有关，本想用Stanford中文分词器，苦于VirtualBox中的Ubuntu跑Stanford的中文分词程序的时候会出现OSError: Java Command Failed 的错误。负责OS这方面的队友在纠结不前之时，老师提醒了我：为什么不去试试别的分词器呢？ 网上搜索了一下中文分词，一眼看到这个ICTCLAS，哈哈哈我正在这里实习为何不试试
es拼音分词 大帅哥_8 种架构设计模式优缺点大曝光 | 原力计划
weixin_39902870的博客
12-07 167
作者 | 程序员Tony责编 | 王晓曼出品 | CSDN博客什么是架构我想这个问题，十个人回答得有十一个答案，因为另外的那一个是大家妥协的结果，哈哈，我理解，架构就是骨架。人类的身体的支撑是主要由骨架来承担的，然后是其上面的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。什么是设计模式这个问题我问过的面试者不下数十次，回答五花八门，在我看来，模式就是经验，涉及模式就是涉及经验...
史上最全的分词算法与工具介绍
夕小瑶科技说
02-25 3323
分词（word tokenization），也叫切词，即通过某种方式将句子中的各个词语识别并分离开来，使得文本从“字序列”的表示升级为“词序列”表示。分词技术不仅仅适用于中文，对于英文、日文、韩文等语言也同样适用。 虽然英文中有天然的单词分隔符（空格），但是常有单词与其他标点黏滞的情况，比如"Hey, how are you."中的"Hey"和"you"是需要与身后的标点分...
[pg]postgresql的中文分词以及全文索引
一名普通码农的菜地
05-18 4582
参考 使用PostgreSQL进行中文全文检索 摘录 前言 PostgreSQL 被称为是“最高级的开源数据库”，它的数据类型非常丰富，用它来解决一些比较偏门的需求非常适合。 前些天将 POI 点关键词查询的功能迁到了 PgSQL，总算对前文 空间索引 - 各数据库空间索引使用报告 有了一个交代。 由于 PgSQL 国内的资料较少，迁移过程踩了不少坑，这里总结记录一下，帮助后来的同学能顺利使用...
各类分词器合集！！！！！
06-04
中文分词开源项目 JAVA中文分词 中文分词开源项目 JAVA中文分词 一个当10个
中文分词包.txt
07-18
IK分词器jar包，可用于solr或者ElasticSearch进行中文分词，国内大牛专为国人写的中文分词包。
relaxlife.net发布一个自己开发的中文分词程序
10-31
relaxlife.net发布一个自己开发的中文分词程序
【STM32学习】HAL库点灯学习
2301_78895982的博客
05-26 891
STM32基于HAL库流水灯实验_hel库安装教程中文版-CSDN博客t=N7T8。
operator ＜=＞ (spaceship operator)
janeqi1987的专栏
05-28 898
= 与!= 操作符为了检查是否相等，现在定义== 操作符就够了。当编译器找不到表达式的匹配声明a!=b 时，编译器会重写表达式并查找!(a==b)。若这不起作用，编译器也会尝试改变操作数的顺序，所以也会尝试!(b==a):a!=b,!(b==a)因此，对于TypeA 的a 和TypeB 的b，编译器将能够识别并编译a!= b若需要的话，可以这样做• 一个独立函数operator!• 一个独立函数operator==(TypeA, TypeB)
Spring6基础笔记
质胜文则野，文胜质则史。文质彬彬，然后君子。
05-21 1208
Spring 是一款主流的 Java EE 轻量级开源框架 ，Spring 由“Spring 之父”Rod Johnson 提出并创立，其目的是用于简化 Java 企业级应用的开发难度和开发周期。Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。Spring 框架除了自己提供功能外，还提供整合其他技术和框架的能力。Spring 自诞生以来备受青睐，一直被广大开发人员作为 Java 企业级应用程序开发的首选。时至今日，Spring 俨然
Java 异常处理中try-catch块、finally子句以及自定义异常的使用
最新发布
Itmastergo的博客
05-31 669
异常是程序运行过程中出现的非正常情况。Java 使用异常类（Exception 类及其子类）来表示这些异常情况。异常处理的核心思想是将正常的程序流程与异常处理流程分离开来，使代码更加清晰和可维护。Throwable 类：所有异常和错误的基类。Error 类：表示系统级的错误，程序通常无法处理，比如内存不足（OutOfMemoryError）。Exception 类：表示程序中可以处理的异常情况。RuntimeException 类。
python分词包准确性比较
05-13
Python分词包是一种能够将文本进行分词的工具，其准确性是影响其使用效果的重要因素之一。目前市面上流行的Python分词包有jieba、THULAC、pkuseg等。 其中，jieba是最常用的Python分词包之一，其分词速度快，覆盖...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值