Java开源分词系统IKAnalyzer学习（一） 大致简介

最新推荐文章于 2023-02-22 01:06:20 发布
最新推荐文章于 2023-02-22 01:06:20 发布
阅读量5.3k 收藏 2
点赞数
分类专栏： 搜索引擎 文章标签： java lucene 算法 blog 优化 语言

 

首先申明，我这里只用到IKAnalyzer独立于Luncene的分词组件，所以会跟作者原本的使用手册信息略不同

1.IKAnalyzer 3.X介绍

    IK Analyzer 是一个开源的，基于java 语言开发的轻量级的中文分词工具包。从2006年12 月推出1.0 版开始， IKAnalyzer 已经推出了3 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer 3.X 则发展为面向Java 的公用分词组件，独立于Lucene 项目，同时提供了对Lucene 的默认优化实现。

 

作者：

 

Blog ： linliangyi2007.javaeye.com

Email : linliangyi2005@gmail.com

 

下载地址：http://code.google.com/p/ik-analyzer/downloads/list  

当中的 IKAnalyzer3.2.5Stable_bin.zip 含有它的使用手册，但它的使用手册是需要用到lucene的，所以可以参考，但我这是重新改动一下，为了自己和大家能更好地理解

 

 

 

 

1.1 IK Analyzer 3.X结构设计

 

 

 

1.2 IK Analyzer 3.X特性

lengyuhong
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
IK Analyzer分词及词频统计Java简单实现
weixin_34273046的博客
05-10 735
为什么80%的码农都做不了架构师？>>> ...
基于Java分词的ikanalyzer工具
weixin_42631192的博客
06-05 1669
1.Maven依赖 <dependency> <groupId>org.apache.opennlp</groupId> <artifactId>opennlp-tools</artifactId> <version>1.9.1</version> </depend...
IKAnalyzer分词（java、scala实现）
huazi99的博客
03-25 702
IKAnalyzer分词（java、scala实现）
《JAVA篇》-- IK分词器
CSDN_zcy_my的博客
12-02 5589
Java分词器 -- IKAnalyzer分词器简介Ikanalyzer在Maven项目中的应用进阶补充，自定义字典参考文献 简介 java大概有11个大的开源分词器，分别是： 1.word分词器 2.Ansj分词器 3.Stanford分词器 4.FudanNLP分词器 5.Jieba分词器 6.Jcseg分词器 7.MMSeg4j分词器 8.IKAnalyzer分词器（本文要说的） 9.Paoding分词器 10.smartcn分词器 11.HanLP分词器 这里只简单说一下IKAnalyzer的使
IK分词器结合JAVA使用并附一个实用的例子
xuxu96
03-29 7964
IK Analyzer是基于lucene实现的分词开源框架，下载路径:http://code.google.com/p/ik-analyzer/downloads/list 需要在项目中引入： IKAnalyzer.cfg.xml IKAnalyzer2012.jar lucene-core-3.6.0.jar stopword.dic 什么都不用改 示例代码如下(使用IK Analyzer): ...
solr中文分词jar包ik-analyzer 含class配置 ik-analyzer-7.5.0
04-11
Ik Analyzer是一款针对Java平台设计的、专门用于中文分词的开源工具，它在Solr中扮演着至关重要的角色。 标题提到的"ik-analyzer 7.5.0"是Ik Analyzer的一个特定版本，这个版本包含了对Solr的支持，并且提供了类...
ikanalyzer-solr.zip
07-21
此外，ikanalyzer还提供了基于词频的动态学习机制，能根据用户数据自动学习新词，提高分词的准确性。同时，ikanalyzer支持繁体字转换和英文单词识别，这使得它在处理混合语言文本时也有较好的表现。 在实际应用中，...
solr 5.4.0 完整包，包含ikanalyzer 中文分词器
01-14
ikanalyzer 是一个基于 Java 实现的中文分词器，它主要设计用于 Lucene 和 Solr 的信息检索场景。ikanalyzer 的核心是采用了基于词典的分词策略，可以有效地进行中文词语的切分，支持新词发现和用户自定义词典。这...
IKAnalyzer分词工具
09-26
IKAnalyzer是一款广泛应用于Java平台的开源分词工具，专门针对中文文本进行高效的分词处理。它的全称为"Intelligent Chinese Analyzer for Lucene"，旨在提高Lucene等搜索引擎在中文环境下的搜索性能。Lucene是...
ik-analyzer-solr7.zip
01-05
IKAnalyzer是Java开发的一款广泛应用的中文分词器，它的全称是"Intelligent Chinese Analyzer"。这个开源项目致力于提供一个高效、易用且扩展性良好的中文处理工具，它在分词领域表现出色，广泛应用于搜索引擎、信息...
如何添加IK-Analyzer到本地maven仓库
01-07
压缩包：链接：https://pan.baidu.com/s/1uaca6Q8vVxqPtg5vCHyUww 提取码：hkz5 1、下载压缩包到任意位置并解压。 2、进入解压后的问价夹后在文件地址栏输入cmd后回车进入命令提示符界面，且命令提示符的路径也为本件地址的路径。 3、输入mvn clean install -Dmaven.test.skip=true命令并回车，将自动编译，打包并安装。 4、安装后可以在maven仓库中找到。 5、注意：可能出现’mvn’ 不是内部或外部命令，也不是可运行的程序或批处理文件的情况。 这是因为没有配置环境变量的原因，找不到这个路径。只要在环境
基于luncene倒排索引实现大规模数据集检索优化（一）基础知识篇
m0_61696809的博客
02-22 3080
原理探索（基础知识）检索在一组记录集合中找到关键码值等于给定值的某个记录，或者找到关键码值符合特定条件的某些记录的过程 （key，value）检索效率非常重要尤其对于大数据量需要对数据精选特殊的存储处理提高检索效率的方法1）预排序排序算法本身比较费时只是预处理（在检索之前已经完成）2）建立索引检索式重复利用辅助索引信息，以空间换时间牺牲一定的空间从而提高检索效率3）散列技术把数据组织到一个表中更具关键码的值确定表中记录的位置缺点1： 不适合进行范围查询。
luncene
weixin_45736498的博客
02-23 523
luncene Lucene是apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。 Lucene的原作者是Doug Cutting，他是一位资深全文索引/检索专家，曾经是V-Twin搜索引擎
Lucene JAVA全文检索引擎
fxyyshi的博客
08-03 219
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Luce...
Lucene 实例教程(二)之IKAnalyzer中文分词器
永恒の_☆
08-24 2万+
一、前言        前面简单介绍了Lucene，以及如何使用Lucene将索引 写入内存，地址：http://blog.csdn.net/chenghui0317/article/details/10052103        但是其中出现很多问题，具体如下：        1、使用IndexWriter 写入的索引全部是放在内存中的，一旦程序挂了 也就什么都没有了，并且如果生成
java分词统计排序_ikanalyzer分词，计算信息熵排序分词结果
weixin_34942564的博客
02-28 242
1 public JSONArray entropy(String content, Integer quantity) throwsException {2 List words =extract(DelHtmlTagUtil.delHTMLTag(content), quantity);3 JSONArray array =calculateWordEntrop...
java开源分词_Java开源项目cws_evaluation：中文分词器分词效果评估
weixin_36261424的博客
02-21 183
cws_evaluation 是一个Java开源项目，用于对Java中文分词器分词效果进行评估。支持的分词器有：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器、jcseg分词器、fudannlp分词器、paoding分词器、jieba分词器、stanford分词器等9大中文分词器。评估采用的测试文本有253 3709行，共2837 4490个字符。最好的评估结果...
IK Analyzer实现中文分词
梧桐林木
03-30 1214
IK Analyzer是基于lucene实现的分词开源框架，下载路径:http://code.google.com/p/ik-analyzer/downloads/list 需要在项目中引入： IKAnalyzer.cfg.xml IKAnalyzer2012.jar lucene-core-3.6.0.jar stopword.dic 什么都不用改 示例
Lucene介绍与使用
热门推荐
但行好事 莫问前程
09-27 9万+
1、了解搜索技术 1.1 什么是搜索 简单的说，搜索就是搜寻、查找，在IT行业中就是指用户输入关键字，通过相应的算法，查询并返回用户所需要的信息。 1.2 普通的数据库搜索 类似：select * from 表名 where 字段名 like ‘%关键字%’ 例如：select * from article where content like ’%here%’ 结果: where here...
搜索引擎资料 IKAnalyzer中文分词器V2012-FF使用手册 共16页.pdf
最新发布
11-25
"IKAnalyzer中文分词器是一个开源的Java工具包，自2006年12月发布以来，经历了多次重大版本更新，最初与Lucene项目紧密关联，后来发展成为独立的Java通用分词组件。在2012年的版本中，IKAnalyzer引入了简单的分词...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值