solr4.7.2使用IK分词后部分词查不到数据

于 2020-02-10 16:33:33 发布
阅读量957 收藏 1
点赞数
分类专栏： solr 文章标签： ik分词 schema.xml 分词查不到数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chy2z/article/details/104250301
版权
在配置IK分词器并更新schema.xml后，遇到在Solr 4.7.2中使用"中华人民"、"人民共和国"、"共和国"等词无法查询到数据的问题，而"人民"、"美丽"等词可以。通过检查发现，schema.xml的version版本影响了分词结果，将version从1.1改为1.5解决了问题。
摘要由CSDN通过智能技术生成

配置IK分词器

schema.xml

<!-- 原始 ik分词器 -->    
    <fieldType name="text_ik" class="solr.TextField">         
         <analyzer type="index" useSmart="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
        
         <analyzer type="query" useSmart="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
    </fieldType>

分词效果

但是分词后使用 "中华人民"，“人民共和国”，“共和国” 都查不到数据，使用 “人民” ，“美丽” 能查到数据，很奇怪

schema.xml

apache官网介绍：https://cwiki.apache.org/confluence/display/solr/SchemaXml


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  黑暗行动
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
大数据求索（10）： 解决ElasticSearch中文搜索无结果------ik分词器的安装与使用

				
			

			

				

					腾云
				

				

					12-22
					
					2881
					
				

			

		

		

			
				
大数据求索（10）： 解决ElasticSearch中文搜索无结果-----IK中文分词器的安装与使用
问题所在
在中文情况下，ES默认分词器会将汉字切分为一个一个的汉字，所以当搜索词语的时候，会发现无法找到结果。
解决办法
有很多其他的分词器插件可以替代，这里使用最常用的IK分词器。
IK分词器安装

注意:
ik分词器必须和ES版本严格对应，否则可能会产生意料之外的错误。

Github地址：...

			
		

	



                

              
                



	

		

			

				
					
solr7.7+IK分词器，索引分词成功，查询分词成功，但是搜索不到数据

				
			

			

				

					weixin_43085797的博客
				

				

					01-26
					
					1076
					
				

			

		

		

			
				
可以看到分词是成功的

1、首先查看配置managed-schema文件，比如你要搜索的字段是moduleName，查看indexed是否为true,如果为false是不创建索引的，type是否等于"text_ik"

2、删除索引
<delete><query>*:*</query></delete>
<commit/>

3、重现导入数据
最后在查询一次就出来了


...

			
		

	



                


  
              

                


	

		

			

				
					
solr7.4+IK分词器，索引分词成功，查询分词成功，但是搜索不到数据

				
			

			

				

					aufw28566的博客
				

				

					08-10
					
					1041
					
				

			

		

		

			
				
需要分词的词是在创建索引后才配置到自定义词库的，所以创建索引时，solr自动分词的结果与自定义词库后再分词的结果不同，故查询不到。
解决：将所有自定义词配置好后，再重新创建索引，便可查出。
例如：“汗出”一词IK自动将其分为“汗”，“出”两个字，而我们需要将“汗出”视为一词，故在IK自定义词库将“汗出”定义为一个词。而创建索引时，“汗出”一词是被分为“汗”，“出”两个词的，所以此时搜...

			
		

	





	

		

			

				
					
solr4.0+IKAnalyzer 中文搜索，无法查询到结果的解决方法

				
			

			

				

					dongxldante的专栏
				

				

					01-15
					
					1995
					
				

			

		

		

			
				
solr4.0+IKAnalyzer 中文搜索，无法查询到结果，目前列举下面两种情况。
情况1：


solr4.0+IKAnalyzer安装好后，根据IKAnalyzer的安装文档在schema.xml做了配置，“随意问技术百科”已索引，但是搜索“随意问”搜索不出结果。

通过在solr的管理界面进行查询，开启 debugQuery（调试模式），查询q参数输入，test:随意问，输出

			
		

	



		

			
		



	

		

			

				
					
解决solr4.x搭建ik不能智能分词

				
			

			

				

					iteye_2022的博客
				

				

					03-24
					
					262
					
				

			

		

		

			
				
下载IKAnalyzer-2012FF_hf1之后。与solr4.x匹配，但其文档中介绍的useSmart一直无法使用和生效。
schema配置如下：

&lt;span style="font-size:14px;"&gt;	&lt;!--配置IK分词器--&gt;
	&lt;fieldType name="text_ik" class="solr.TextField"&gt;      ..

			
		

	





	

		

			

				
					
Solr错误：full-import之后，查询不到任何数据

					
热门推荐

				
			

			

				

					Fenf的专栏
				

				

					03-02
					
					1万+
					
				

			

		

		

			
				
本人遇到情况如下，请作为参考：
 1、fectch 6，Process 0，说明没有建立索引成功； 
2、fectch 6，process 6，也不一定说明建立索引成功；


查看
collection1下 Max Doc：6，才代表成功。


可能情况如下：
1、webapps\solr\WEB-INF\lib下没有ojdbc6.jar
2、webapps\solr\WEB

			
		

	





	

		

			

				
					
支持solr5.5 solr6.0中IK分词需要的资料

				
			

			

				

					06-13
				

			

		

		

			
				
2. **解压并复制到Solr目录**：将下载的IK分词器解压缩后，将`lucene-analyzers-ik`目录复制到Solr的`server/solr/lib`目录下。 3. **配置分析器**：在Solr的`schema.xml`或`managed-schema`文件中，为需要使用IK...

			
		

	





	

		

			

				
					
solr5.5使用的Ik分词jar及mysql数据同步用到的jar

				
			

			

				

					01-08
				

			

		

		

			
				
solr5.5使用的IK分词IKAnalyzer2012FF_u2.jar包，亲测可用。以及solr5.5同mysql数据同步用到的solr-dataimportscheduler-1.1.1.jar包，亲测可用。

			
		

	





	

		

			

				
					
支持 Solr7 的 ik 分词器

				
			

			

				

					03-29
				

			

		

		

			
				
这个 JAR 文件需要被添加到 Solr 的 classpath 中，以便在 Solr 中使用 ik 分词器进行索引和查询。  4. **IKAnalyzer中文分词器V2012_FF使用手册.pdf**：这份手册提供了 ik 分词器的基本使用方法和技术细节，包括...

			
		

	





	

		

			

				
					
ikanalyzer-solr8.4.0_solr8_solr_ikanalyzer_中文分词_

				
			

			

				

					10-02
				

			

		

		

			
				
ikanalyzer 是一个专门为Java开发的中文...总之，ikanalyzer-solr8.4.0 是 Solr 8.4.0 版本下用于中文分词的重要工具，通过合理的配置和使用，可以显著提高 Solr 对中文文本的处理能力，从而提升搜索质量和用户体验。

			
		

	





	

		

			

				
					
solr6.0中IK分词需要的资料

				
			

			

				

					06-01
				

			

		

		

			
				
在这个压缩包文件中，包含了Solr6.0使用IK分词所需的一些关键资料。  首先，我们需要理解IK分词器的基本概念。IK分词器主要基于词典进行分词，能够处理常见的中文词汇、短语以及网络用语。它有两种运行模式：精确...

			
		

	





	

		

			

				
					
Solr配置完分词器后Analysis分词有效果，查询时分词无效果的解决

				
			

			

				

					sout
				

				

					10-11
					
					949
					
				

			

		

		

			
				
是因为在配置分词器前插入的数据已经创建了索引，这时候的索引是没走分词器便创建的，即历史数据是没有做过分词的。1.将你要分词的字段设置text_ik类型。2.删除索引重新创建或者更新索引。

我采用删除索引的方法~（暴力，简单干脆）

直接将solrhome中solr实例的data文件夹清空，重新录入数据，重新查询，完美解决。
...

			
		

	





	

		

			

				
					
solr字段查询失效的问题

				
			

			

				

					toString的博客
				

				

					01-18
					
					2721
					
				

			

		

		

			
				
     最近在使用solr的过程当中遇到了一个问题，就是在创建solr字段(filed)的时候查询失效，我第一相当的当然是在schema.xml中的这个字段中查看indexed的属性是否设置为true，果不奇然，为false，然后我手动修改为true.重启后接下来查询该字段发现还是不行。

    我创建的字段是店铺的名称(store_name) 然后我就使用store_name:店铺名称  查...

			
		

	





	

		

			

				
					
solr为什么检索不出中文文档

				
			

			

				

					zyb243380456的专栏
				

				

					03-01
					
					1838
					
				

			

		

		

			
				
>solr为什么检索不出中文文档<
1.可能设置的分词器为空格分词器
  这样的话中文之间是没有空格的是需要将整段的
  中文输入查询语句才能够检索出来
2.在发送查询语句的过程中可能出现了乱码导致无法查询出结果

3.如何解决乱码问题
 <Connector port="8081" protocol="HTTP/1.1" 
               connectionTimeout="20

			
		

	





	

		

			

				
					
solr配置IK分词器报错

				
			

			

				

					qq_40279887的博客
				

				

					09-09
					
					1041
					
				

			

		

		

			
				
new_core: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: JVM Error creating core [new_core]: class org.wltea.analyzer.lucene.IKAnalyzer overrides final method tokenStream.(...

			
		

	





	

		

			

				
					
solr添加IK分词器遇到的问题

				
			

			

				

					weixin_38898192的博客
				

				

					09-05
					
					1078
					
				

			

		

		

			
				
jcg: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: JVM Error creating core [jcg]: class org.wltea.analyzer.lucene.IKAnalyzer overrides final method tokenStream.(Ljava/lang

			
		

	





	

		

			

				
					
Solr启动使用IK分词时，异常：Connection to Solr lost Please check the Solr instance

				
			

			

				

					hyv5478的博客
				

				

					01-19
					
					6448
					
				

			

		

		

			
				
使用IK分词时出现如下信息：异常：Connection to Solr lost   Please check the Solr instance可以通过设置Tomcat的catalinaproperties文件，在/tomcat/bin/目录下在文件中增加：JAVA_OPTS="-Xms256m -Xmx512m -Xss1024k -XX:PermSize=128m -XX:MaxPermSi

			
		

	





	

		

			

				
					
solr配置中文分词遇到的问题

				
			

			

				

					慢慢慢慢慢的敲代码的博客
				

				

					05-08
					
					2816
					
				

			

		

		

			
				
严重: Servlet.service() for servlet [default] in context with path [/solr] threw exception [Filter execution threw an exception] with root cause
java.lang.VerifyError: class org.wltea.analyzer.lucene.I

			
		

	





	

		

			

				
					
IKAnalyzer 分词工具的使用与问题

				
			

			

				

					小菜鸟的博客
				

				

					11-26
					
					1万+
					
				

			

		

		

			
				
IKAnalyzer 用来对一段文集进行分词
IKAnalyzer.cfg.xml 文件必须放在classpath的根目录下，可以在源码中修改这个配置文件的位置，但是没有必要去修改。


  
  
	IK Analyzer 扩展配置
	 /ikdic/ext_keyword.dic;//在classpath根目录下的ikdic包下的ext_keyword.dic,为扩展字典
	 /ikdi

			
		

	





	

		

			

				
					
Solr配置中文分词器：IK分词器与Schema.xml详解

				
			

			

				

					
				

			

		

		

			
				
IK全称为“Intelligent Chinese”，它是一款高效的中文分词工具，常用于Solr和Elasticsearch等搜索引擎中，以实现对中文文本的精确分词。本课程主要讲解如何搭建和配置IK分词器，以优化Solr的搜索性能。  首先，要...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值