一款基于字典的中文分词器Shuzhen分词器

最新推荐文章于 2024-08-12 22:04:42 发布
最新推荐文章于 2024-08-12 22:04:42 发布
阅读量205 收藏
点赞数 1
文章标签： lucene 搜索引擎 Java .net
ShuzhenAnalyzer是一款用java写的基于字典的中文分词器，可与Lucene一起使用构建搜索引擎。
见网址：
[url]http://www.shuzhen.net[/url]
bbmonkey62
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
中文分词字典
05-16
中文分词词库，格式如下： 00000001 李 168 n 00000002 李浩 133 nr2 00000003 互联网式 121 b ...
中文分词C语言程序
08-22
基于C语言文本文件的中文分词程序，可实现基本功能，还有待完善
如何用C语言(VisualStudio)调用NLPIR进行中文分词
liuheng0111的博客
09-09 1895
如何用C语言(VisualStudio)调用NLPIR进行中文分词   (2014-06-12 13:52:14) 转载▼ 标签：  nlpir   中文分词 分类： 中文分词 做的一些项目需要使用到中文分词工具。经过多方测试，觉得NLPIR是进行中文分词的首选。由张华平老师开发，开源，支持c、java，相对易用，效果一
Elasticsearch (ES) 学习之路（三） IK 分词器安装与使用自定义词典
胖虎儿的博客
06-27 5587
Elasticsearch (ES) 学习之路三 IK 分词器安装与使用 IK分词器在是一款 基于词典和规则 的中文分词器,如果项目所做业务为国内业务 那么使用IK分词器 即可满足大部分 分词场景 IK 分词安装（Win） 解压上文中下载的IK 分词器压缩包 解压到 es 安装目录下的 plugins 下 新建 ik 目录 解压后 ，从起ES，查看是否读取插件 kibanna 中 使用 IK 分词器两种分词算法 ik_smart 最少切分算法 当前切分 算法为最少切分法 何为最少切分呢，即按照其
关于MMSEG分词算法
foxman209的专栏
09-10 1770
MMSEG是中文分词中一个常见的、基于词典的分词算法（作者主页：http://chtsai.org/index_tw.html），简单、效果相对较好。由于它的简易直观性，实现起来不是很复杂，运行速度也比较快。关于算法的原文，可以参 见：http://technology.chts
春秋云境Time-WP【一遍过】
weixin_63576152的博客
10-11 411
重置了很多次靶机，所以靶机ip变化请忽略。
全文检索之分词器分享.zip
09-22
3，分享一波分词器SDK开发包及使用手册（IK分词器、imdict(ictclas)分词器、je分词器、mmseg分词器、paoding分词器、Shuzhen分词器、庖丁解羊分词器、增强版lucene分词器） 文件比较大，请耐心下载。
基于中文的Shuzhen分词器1.1.4提供下载
10-22
此版本改进为：分词时采用了完全匹配方式（自命名的），也即将符合字典条目的词全部切分出来，在基于字典的分词中达到了“分无可分”的程度；分词时完全按照标准分词来进行，这样保证了在和一些高亮显示组件如...
ShuzhenAnalyzer中文分词器
07-01
"ShuzhenAnalyzer中文分词器"是一款专为Lucene搜索引擎设计的中文分词组件。在文本检索领域，中文分词是将连续的汉字序列分割成具有独立意义的词汇单元，是信息处理的重要基础步骤。ShuzhenAnalyzer的出现旨在提高...
ShuzhenAnalyzer-1.1.3
09-21
ShuzhenAnalyzer-1.1.3是一款用java写的基于字典的中文分词器，可以与Lucene(目前只测试了与Lucene2.2.0版本一起使用的情况，其他版本Lucene版本未测试过)一起使用来构建搜索引擎系统 其特性如下： 1、基于字典系统分词，采用了JDBM文件数据库系统来作为字典系统，字典系统数量理论上可以趋于无穷多而绝不会出现内存溢出现象 2、在1中的前提下，索引创建及搜索速度受字典条目数量影响小到可以忽略不计 3、可以很方便对字典系统进行管理，管理功能如下： 3.1、往字典系统中增加单个条目 3.2、往字典系统中增加多个条目 3.3、利用txt文件往字典系统中批量增加多个条目 3.4、删除字典系统中指定的某一个条目 4、对搜索词提供了两种处理方式，可以更好地应用在不同需求的系统中，提高搜索结果的质量 如：字典条目中如果存在 功夫熊猫、有趣 两个条目，搜索词为：功夫熊猫是很有趣的一部电影， 那么用两种方式分别对此搜索词进行处理过的结果如下： 第一种处理后的结果：功夫熊猫 是 很 有趣 的 一 部 电 影 第二种处理后的结果：功夫熊猫 有趣 值得特别注意的是：在对搜索词进行处理时忽略了以下几个特殊符合：!、|、-、"，主要是为了满足关键词中特殊字符的要求，比如在google搜索中，用"关键词"表示结果中必须包含双引号包含的关键词，在lucene中， 用"关键词1 -关键词2"表示搜索结果中包含关键词1但不包含关键词2等 最新版本请参见：http://www.shuzhen.net
IK-Analyzer 分词器所需要的配置文件、扩展词典及停用词词典 完整包下载
12-25
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 采用了特有的“正向迭代最细粒度切分算法”，具有60万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 Linux下Solr4.10.4搜索引擎的安装与部署图文详解 : http://blog.csdn.net/Hello_World_QWP/article/details/78864823
分词器的最新版本和相关资讯
05-21
* 关于shuzhen分词器的最新版本和相关资讯 * ShuzhenAnalyzer是一款基于字典的中文分词器，此版本是1.1.7 * 中文名称是：淑珍分词器(又称Shuzhen分词器) * 英文名称是：ShuzhenAnalyzer
八、使用IKAnalyzer自定义分词字典
jingqiang521的专栏
07-22 4815
文件下载 IKAnalyzer下载地址：https://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 这里我使用的是IK Analyzer 2012FF_hf1.zip这个包；因为我用的是solr4.x的； 解压、文件拷贝 下载之后用unzip解压，没有安装unzip童鞋安装下； 解
基于字典的中文分词算法RMM,MM实现
xqhadoop的博客
03-07 6052
引言:目前针对中文分词一般有基于字典,基于统计(HMM等),基于规则的分词方法,然而其中基于字典的中文分词是最基础,同时也是最高效的方式,但分词精度取决与字典的规模。 **一.基于字典的中文算法简介** 1.定义:按照一定策略将带分析的汉字串与一个大机器字典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功.所以也称为机械匹配。 按照扫描方向的不同:正向匹配和逆向匹配 按照长度不同:最长匹配和
c/c++运用nlpir进行自动化中文分词
tsy00118的专栏
04-01 3132
由于毕业设计的需要，需要运用自动化分词和提取关键词，这个对于不专业的我还颇具难度，最开始把分词包直接加入到python中一直没有成功。在C下配置成功，记录一下步骤 用vs2013创建新项目，选择控制台程序，命名为nlpir 点击下一步，不要选中预编译头，然后点完成 在nlpir.cpp中写入下列代码（其中1.txt是待处理的文本）：#include #include #inc
LangChain:与RAG相关的模块
读万卷书 行万里路
08-12 248
本篇博客主要整理LangChain中与RAG(Retrieval-Augmented Generation，即检索增强生成)相关的模块。
Unity教程（九）角色攻击的改进
最新发布
cyr___的博客
08-12 930
本文为Udemy课程The Ultimate Guide to Creating an RPG Game in Unity学习笔记，如有错误，欢迎指正。本节进行角色基本攻击的改进。
人工智能在病理组学领域的最新进展｜文献速递·24-08-09
qq_45404805的博客
08-09 709
这篇文章是关于使用计算机断层扫描（CT）图像特征和直方图参数来预测ⅠA期肺腺癌（LUAC）中微乳头状或实体（MIP/SOL）成分的研究。研究目的是构建基于CT表现、直方图和形态特征的预测模型，并评估这些模型的性能。这篇文章是关于一种深度学习集成方法的研究，该方法结合了可解释的人工智能技术，用于肺癌和结肠癌的分类。研究使用了先进的超参数调整技术，通过结合Xception和MobileNet架构，旨在提高特征提取能力、增强模型的鲁棒性，并减少过拟合现象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值