IKAnalyzer - 开源中文分词器

最新推荐文章于 2024-07-06 11:24:09 发布
最新推荐文章于 2024-07-06 11:24:09 发布
阅读量657 收藏 1
点赞数
分类专栏： NLP - 自然语言处理 文章标签： 中文分词 p2p wpf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tfstone/article/details/122035093
版权

https://code.google.com/archive/p/ik-analyzer/

源项目作者 linliangyi2007@gmail.com 已不再维护，个人可以fork项目进行修改，github地址：GitHub - wks/ik-analyzer: No longer maintained. Please contact the origional author.

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

1.采用了特有的“正向迭代最细粒度切分算法“，支持 细粒度 和 智能分词 两种切分模式；

2.在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

3.2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

4.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符

5.优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

Maven依赖：

 <!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-queryparser</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.lucene</groupId>
                    <artifactId>lucene-analyzers-common</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

或

<!-- https://mvnrepository.com/artifact/org.wltea.analyzer/IKAnalyzer -->
<dependency>
    <groupId>org.wltea.analyzer</groupId>
    <artifactId>IKAnalyzer</artifactId>
    <version>2012_u6</version>
</dependency>

历史版本：

FileSummary + LabelsUploadedSize
IK Analyzer 2012FF_hf1_source.rarIK Analyer 2012-FF Hotfix 1 源码  Type-Archive  OpSys-All  Ver 2012 FF hf1Dec 21, 20121.02MB
IK Analyzer 2012_u6_source.rarIK Analyer 2012 upgrade 6 源码  Type-Source  OpSys-All  version 2012 u6Dec 21, 20121.02MB
IKAnalyzer2012_u6.zipIK Analyer 2012 完整分发包 upgrade 6  Type-Archive  OpSys-All  version 2012 u6  For Lucene 3.x / Solr3.xOct 29, 20122.04MB
IK Analyzer 2012FF_hf1.zipIK Analyer 2012-FF hotfix 1 完整分发包  Type-Archive  OpSys-All  version 2012FF hotfix1  For lucene4.0 / solr 4.0Oct 26, 20122.05MB
IK Analyzer 2012 FF_SRC.rarIK Analyer 2012-FF 源码  Type-Source  OpSys-All  Ver 2012 FFOct 23, 20121.02MB
IK Analyzer 2012_u5_source.zipIK Analyer 2012 upgrade 5 源码  Type-Source  OpSys-All  version 2012 u5May 8, 20121.12MB
IKAnalyzer2012_u5.zipIK Analyer 2012 完整分发包 upgrade 5  Type-Archive  OpSys-All  version 2012 u5May 8, 20122.05MB
IKAnalyzer2012_u4.zipIK Analyer 2012 完整分发包 upgrade 4  Type-Archive  OpSys-All  Ver 2012 u4Mar 26, 20122.04MB
IKAnalyzer2012_u3.zipIK Analyer 2012 完整分发包 upgrade 3  Type-Archive  OpSys-All  Ver 2012 u3Mar 16, 20122.04MB
IKAnalyzer2012_u2.zipIK Analyer 2012 完整分发包 upgrade 2  Type-Archive  OpSys-All  Ver 2012 u2Mar 15, 20122MB
IKAnalyzer2012_u1.zipIK Analyer 2012 分发包 upgrade 1  Type-Archive  OpSys-All  Ver 2012 u1Mar 15, 20122MB
IKAnalyzer中文分词器V2012使用手册.pdfIK Analyzer 2012 使用说明手册  Type-Docs  OpSys-All  Ver 2012 1stMar 8, 2012828.15KB
IKAnalyzer2012.zipIK Analyzer 2012 完整下载包（含api及说明文档）  Type-Archive  OpSys-All  Ver 2012 1stMar 8, 20122MB
IKAnalyzer2012_SRC.rarIK Analyzer 2012源码包  Type-Source  OpSys-All  Ver 2012Mar 8, 20121.02MB
IKAnalyzer中文分词器V3.2.8使用手册.pdfIKAnalyzer中文分词器V3.2.8使用手册.pdf  Type-Docs  OpSys-All  v3.2.8Mar 11, 2011739.23KB
IKAnalyzer3.2.8 bin.zipIKAnalyzer3.2.8 bin.zip  Type-Archive  OpSys-All  V3.2.8Mar 4, 20111.98MB
IKAnalyzer3.2.8 source.zipIKAnalyzer3.2.8源码  Type-Source  OpSys-All  V3.2.8Mar 4, 20111.14MB
IKAnalyzer3.2.5Stable_src.zipIKAnalyzer3.2.5Stable_src.zip 源码包  Type-Source  OpSys-All  version 3.2.5Sep 8, 20101.14MB
IKAnalyzer3.2.5Stable_bin.zipIKAnalyzer3.2.5Stable_bin.zip 发布包  Type-Archive  OpSys-All  version3.2.5Sep 8, 20101.74MB
IKAnalyzer3.2.3Stable_src.rarIKAnalyzer3.2.3稳定版源代码  Type-Source  OpSys-All  version 3.2.3May 15, 20101.02MB
Lazyafei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IKAnalyzer开源轻量级中文分词工具包2012u6
08-04
IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了
ik-analyzer-8.3.0分词插件.zip
05-22
ik-analyzer 是一个开源的、高性能的中文分词工具，它最初是基于Java实现的，并且广泛应用于Lucene、Solr等全文检索框架中。ik-analyzer 8.3.0 版本代表了该插件的一个成熟稳定版本，它包含了对中文词汇和短语的精确...
IK分词器
m0_63102097的博客
05-17 571
IK 分词器（IK Analyzer）是一个开源的中文分词器，专门为 Elasticsearch 提供的中文分词组件。它支持细粒度和智能化的中文分词，能够有效处理中文文本的索引和搜索需求。
Java的中文分词器ansj
最新发布
fangjianj的博客
07-06 882
Ansj中文分词器，作为一款卓越的开源Java语言工具，它根植于中科院ictclas算法的深厚底蕴，展现出超越众多主流开源分词工具的精准度，如MMseg4j等。Ansj不仅精通于中文分词这一核心技能，更在多个领域展现出其全面性与先进性：它能够精准识别中文姓名，赋予文本处理更深层次的个性化与准确性；支持用户自定义词典，让分词过程更加贴合特定需求与场景；同时，它还集成了关键字提取、自动摘要生成以及关键字标记等高级功能，为文本分析、信息检索等应用提供了强有力的支持。
开源分词软件
aigui1439的博客
11-23 792
由于中文文本词与词之间没有像英文那样有空格分隔，因此很多时候中文文本操作都涉及切词，这里整理了一些中文分词工具。一般来说用CRF实现的分词工具的处理速度是比较慢的（训练CRF模型是非常耗时的），但是精度高，涉及CRF的分词工具有CRF++，Stanford分词工具。 Bakeoff是一个国际中文处理比赛，有多个语料，所以每个语料都有排名。只有部分优秀的Bak...
分词汇总
10-09 2025
<br /><br />SCWS：<br />Author：Hightman<br />算法：基于词频词典的机械中文分词引擎，采用的是采集的词频词典，并辅以一定的专有名称，人名，地名，数字年代等规则识别来达到基本分词<br />准确率：经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。<br />性能：45Kb左右的文本切词时间是0.026秒，大概是1.5MB文本/秒，<br /> 语言和平台：SCWS 采用纯 C 代码开发，以 Unix-Like OS
开源中文分词工具探析（五）：FNLP
weixin_34221073的博客
03-16 197
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包，提供诸如分词、词性标注、文本分类、依存句法分析等功能。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP ...
开源中文分词工具探析（四）：THULAC
weixin_34233679的博客
02-22 566
THULAC是一款相当不错的中文分词工具，准确率高、分词速度蛮快的；并且在工程上做了很多优化，比如：用DAT存储训练特征（压缩训练模型），加入了标点符号的特征（提高分词准确率）等。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开...
ik-analyzer-8.5.0-jar
02-15
ik-analyzer是一款在Java环境下广泛使用的开源中文分词器，专为满足Java开发者在信息检索、文本分析等领域的需求而设计。这个资源是ik-analyzer的8.5.0版本，包含了一个名为"ik-analyzer-8.5.0-jar"的JAR文件，它是...
ik-analyzer-7.6.0-jar
02-15
ik-analyzer是一款开源的Java语言中文分词器，它最初是基于Lucene项目发展起来的，致力于提高中文文本处理的效率和准确性。7.6.0版本是ik-analyzer的一个重要里程碑，它包含了多项优化和改进，提高了对现代汉语词汇...
ik-analyzer中文分词器for solr7
01-07
标题中的"ik-analyzer中文分词器for solr7"指的是IK Analyzer，一个专为Java开发的中文分词工具，适用于Solr搜索引擎。IK Analyzer是基于Lucene库的，它旨在提供一个简单、高效且灵活的中文分词解决方案。在Solr7这...
中文分词库IKAnalyzer
05-11
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。
中文分词库 IKAnalyzer源码
05-14
中文分词库 IKAnalyzer源码
IKAnalyzer
04-18
IK Analyzer 是一个开源的，基于 java 语言开发的轻量级的中文分词工具包。
ik-analyzer-7.4.0.jar
02-21
- **运行分词**：通过Analyzer接口，创建IKAnalyzer实例，对输入的中文文本进行分词处理。 3. **优化与改进**： - **新词发现**：ik-analyzer-7.4.0版本增强了新词识别能力，能较好地处理网络热词和专业术语。 -...
开源中文分词工具探析（三）：Ansj
weixin_34318326的博客
01-11 170
Ansj是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram + HMM分词模型（可参考我之前写的文章）：在Bigram分词的基础上，识别未登录词，以提高分词准确度。虽然基本分词原理与ICTLAS的一样，但是Ansj做了一些工程上的优化，比如：用DAT高效地实现检索词典、邻接表实现分词DAG、支持自定义词典与自定义消歧义规则等。 【开源中文分词工具探...
11款开放中文分词引擎大比拼
weixin_34321977的博客
11-09 1149
在逐渐步入DT（Data Technology）时代的今天，自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说，并没有类似英文空格的边界标志。而理解句子所包含的词语，则是理解汉语语句的第一步。汉语自动分词的任务，通俗地说，就是要由机器在文本中的词与词之间自动加上空格。一提到自动分词，通常会遇到两种比较典型的质疑。一种质疑是来自外行...
开源中文分词工具探析（七）：LTP
weixin_33774883的博客
06-11 446
LTP是哈工大开源的一套中文语言处理系统，涵盖了基本功能：分词、词性标注、命名实体识别、依存句法分析、语义角色标注、语义依存分析等。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP 开源中文分词...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值