Solr IK中文分词器bug--多个IKTokenizer实例使用DefaultConfig单例bug

最新推荐文章于 2024-04-12 06:25:17 发布
最新推荐文章于 2024-04-12 06:25:17 发布
阅读量1.2k 收藏
点赞数
分类专栏： solr 文章标签： 源码 bug solr Ik 分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/patrickyoung6625/article/details/12067941
版权
由于IKTokenizer内部使用DefaultConfig来保存配置信息，而DefaultConfig设计成单例就导致了多个不同的IKTokenizer实例只能拥有唯一的COnfiguration配置。


修复方法：把获取单例的地方改为new出来就好了


IK版本：IK Analyer 2012-FF Hotfix 1 源码，IK Analyzer 2012FF_hf1_source.rar
solr版本：solr4.4
 



flysharkym
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch用法和IK分词器
Hello, New World!
02-17 650
ElasticSearch用法和IK分词器ElasticSearch 是什么？为什么选择ES?ES提供的能力ES常用使用场景ES架构ES 基本概念ES 数据类型ElasticSearch , Kibana 和 elasticsearch-head第一个HelloWorld(v6.8)分词器常见入门问题1. ES 6.8 IK分词器bug2. 日期格式设置错误3. 设置匹配度 优化查询结果ES的Java客户端选择1. ES提供了两个JAVA REST client 版本2. TransportClient3
中文分词——知更鸟分词(RS)设计与实现
知更鸟的博客
11-05 1782
内容提要分词概述算法分类常见项目知更鸟分词实现算法描述数据结构代码实现运行结果 分词概述   英文文本的处理相对简单，每一个单词之间有空格或标点符号隔开。如果不考虑短语，仅以单词作为唯一的语义单元的话，处理英文单词切分相对简单，只需要分类多有单词，去除标点符号。中文自然语言处理首先要解决的难题就是中文分词技术。   中文分词(Chinese Word Segmentation) 指的是将一个汉字序...
elasticsearch安装分词器,出现的bug以及解决办法;我这里是老版本(求稳) 2.4.0
mister_Wei的博客
09-28 1421
elasticsearch 安装之后需要使用java进行操作,我们需要安装Ik分词器,但是在安装的过程总是会非常坎特, 第一大点, 安装的分词器版本 一定要和你当前elasticsearch版本保持一致!!! 切记切记! 步骤 一 IK分词器下载地址 (按照版本下载) https://github.com/medcl/elasticsear...
solr5中文分词bug解决
weixin_30711917的博客
05-17 91
下载 ik分词包 地址：http://http://pan.baidu.com/s/1c1RcnAw 1.修改 pom.xml <javac.src.version>1.7</javac.src.version> <javac.target.version>1.7</javac.target.version> 修改成你使...
ik分词器
忆往昔的博客
08-16 170
标签 下载 solr7.4 配置ikanalyzer和自带的中文分词器 <!-- ik分词器 --> <fieldType name="text_ik" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="
Elasticsearch使用IK分词器的坑
sinat_25932097的博客
04-20 1844
Elasticsearch使用IK分词器 定义实体指定index,type,分片数量 IK分词器分类：ik_smart(粗粒度)，ik_max_word(细粒度) 注意： es版本为7.0.0以下的不支持ik_max_word，7.0.0以下的仅支持ik_smart分词器 具体使用方式如下： @Data @Document(indexName = "entertainment_idx_sole...
IK中文分词扩展自定义词典！！！
iamaboyy的专栏
05-15 1万+
1.基于分布式系统的自定义分词要求与流程设计   （见图）E:\plan\readingnote\分词与索引\分词\2012-4-20 2.分词实现原理——词典的加载过程   2.1.分词词典的加载过程涉及到3个类，分别是Configuration类，Directory类，以及DictSegment类。 其中前两个类是获得配置文件，获得分词词典的，为词典内容的加载做准备
乐忧商城项目总结-3
qq_39748316的博客
03-05 1811
乐忧商城11.elasticsearch11.1 elasticsearch介绍及其安装12.基本搜索13.搜索过滤14.thymeleaf及其静态化15.rabbitMQ16.用户注册17.授权中心18.购物车19.下单 11.elasticsearch 11.1 elasticsearch介绍及其安装 用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多，而且分类繁杂。如何能正确的显示出用户想要的商品，并进行合理的过滤，尽快促成交易，是搜索系统要研究的核心。面对这样复杂的搜索
IKAnalyazer
12-03
IKAnalyzer是中国人民大学信息学院开发的一款开源中文分词器，主要设计目标是提供一个轻量级、高效能的中文分词组件。IKAnalyzer基于Java语言实现，可方便地嵌入到各种Java应用系统中，例如搜索引擎、日志分析、文本...
ElasticSearch详细笔记（ 从入门到入土）
GOV_D的博客
04-18 3307
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1.ElasticSearch概述1.1 Elasticsearch 是什么1.2 全文搜索引擎1.3 Elasticsearch And Solr2. ElasticSearch安装2.1 下载和安装2.2 可能存在的问题2.3 RESTful3. ES的基本使用3.1 数据格式3.2 分片概念3.3 索引操作（1）创建索引（2） 查看所有索引（3） 查看单个索引（4） 删除索引3.4 文档操作（1）创建文档（2） 查.
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
最新发布
2301_79099434的博客
04-12 1096
前言 一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。 例如，whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割为 [Quick, brown, fox!]。 该 tokenizer（分词器）还负责记录各个 term（词条）的顺序或 position 位置（用于 phrase 短语和 word proximit
如何开发安装ik分词器
weixin_43855344的博客
01-17 323
  　　 Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词，我是中国人 不能简单的分成一个个字，我们更希望 “中国人”，“中国”，“我”这样的分词，这样我们就需要安装中文分词插件，ik就是实现这个功能的。 　　elasticsearch-analysis-ik 是一款中文的分词插件，支持自定义词库。 　　现在开始安装ik分词器，安装之前，先说明一...
Lucene5学习之使用IKAnalyzer分词器
嘿↗你的益达
03-18 660
    之前的示例中，使用的是默认的StandardAnalyzer分词器，不能有效的进行中文分词，下面演示下如何在Lucene5.0中使用IKAnalyzer分词器。     首先下载IKAnalyzer分词器源码，IKAnalyzer分词器源码托管在OSChina的git上。下载地址： http://git.oschina.net/wltea/IK-Analyzer-2012FF 请...
IK分词源码讲解（七）-TokenStream以及incrementToken属性处理
a925907195的专栏
12-11 6547
首先介绍下在lucene中attributeSource的类层次： org.apache.lucene.util.AttributeSource ·        org.apache.lucene.analysis.TokenStream (implementsjava.io.Closeable) ·        org.apache.lucene.analysis.NumericTok
IK的整个分词处理过程
yingbin920的博客
06-26 235
IK的整个分词处理过程 首先，介绍一下IK的整个分词处理过程： 1. Lucene的分词基类是Analyzer，所以IK提供了Analyzer的一个实现类IKAnalyzer。首先，我们要实例化一个IKAnalyzer，它有一个构造方法接收一个参数isMaxWordLength，这个参数是标识IK是否采用最大词长分词，还是采用最细粒度切分两种分词算法。实际两种算法的实现，最大...
lucene6中配置IK Analyzer同义词分词器
u013905744的专栏
07-20 1499
首先需要基础知识 intellij idea中为lucene6配置IK Analyzer分词器 说到同义词分词器，从原理角度来说要了解了Analyzer Analyzer分词的原理 Analyzer类是一个抽象类，切分词的具体规则是由子类实现的。Analyzer内部主要通过TokenStream类实现。Tokenizer类和TokenFilter类是TokenStream的两个子类。 A...
IK 分词器 2012 FF 版本取消了 org.wltea.analyzer.solr.IKTokenizerFactory 类【导致只能使用ik分词器来进行分词，无法使用solr自带的其它过滤方式
Thinking
08-12 3196
文章来源：http://qb.doudang.com/doc-view-910.html 看到ik分词器支持solr4.0, 于是下载了试用，结果发现IK 分词器 2012 FF 版本取消了 org.wltea.analyzer.solr.IKTokenizerFactory 类，这导致只能使用ik分词器来进行分词，无法使用solr自带的其它过滤方式。 从iteye下找到了
ElasticSearch 解析机制常见用法库 之 Tokenizer常用用法
菜刚RyuGou的专栏
06-18 1万+
Tokenizer 译作：“分词”，可以说是ElasticSearch Analysis机制中最重要的部分。 standard tokenizer 标准类型的tokenizer对欧洲语言非常友好， 支持Unicode。 如下是设置: 设置 说明 max_token_length 最大的token集合,即经过tokenizer过后得到的结果集的最...
Elasticsearch 中文分词器 IK 配置和使用
热门推荐
jam00的博客
10-31 6万+
Elasticsearch 内置的分词器对中文不友好，会把中文分成单个字来进行全文检索，不能达到想要的结果 看一个例子curl -XGET 'http://localhost:9200/_analyze?pretty&analyzer=standard' -d ' 第二更新 ' #返回 { "tokens" : [ { "token" : "第", "start_offset"
Solr配置中文分词器：IK分词器与Schema.xml详解
在Solr全文搜索服务中，IK分词器扮演着重要的角色，特别是在处理中文文本时。IK全称为“Intelligent Chinese”，它是一款高效的中文分词工具，常用于Solr和Elasticsearch等搜索引擎中，以实现对中文文本的精确分词。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值