ElasticSearch新增IK扩展词后，让历史数据生效方法

最新推荐文章于 2024-07-25 18:20:01 发布
最新推荐文章于 2024-07-25 18:20:01 发布
阅读量7.6k 收藏 9
点赞数 4
分类专栏： elasticsearch 文章标签： elasticsearch 扩展词 IK分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a314773862/article/details/78515253
版权

问题描述

IK是ES的中文分词插件。在IK新增热词后，不会去更新历史数据，即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。

解决办法

使用ES自己提供的update_by_query接口。

  1. 调用接口：http://127.0.0.1:9200/index*/_update_by_query?conflicts=proceed 

                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Chase888
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
ik分词器的热词更新_ElasticSearch新增IK扩展词后，让历史数据生效方法

				
			

			

				

					weixin_33816685的博客
				

				

					12-23
					
					501
					
				

			

		

		

			
				
问题描述IK是 ES 的中文分词插件。在IK新增热词后，不会去更新历史数据，即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。解决办法使用 ES 自己提供的 update_by_query 接口。调用接口：http://127.0.0.1:9200/index其他支持的参数refresh, wait_for_completion, wait_for_active_shard...

			
		

	



                

              
                



	

		

			

				
					
ElasticSearch插件之ik分词器，新增关键词如何让历史数据生效?

				
			

			

				

					weixin_46294086的博客
				

				

					10-08
					
					603
					
				

			

		

		

			
				
ES词库新增一个关键词、同义词、简繁体和停止词之后，发现只有新数据进入到索引才会生效，对于之前已经存储到索引的数据，还是按照之前的方式来做分词，这个问题应该如何解决呢？

			
		

	



                


  
              

                


	

		

			

				
					
ElasticSearch: 配置远程词库更新后，如何使历史存储的数据立马生效(即刷新倒排索引列表)

				
			

			

				

					qq_39198749的博客
				

				

					06-02
					
					1030
					
				

			

		

		

			
				
问题背景
在我们自定义拓展词库更改后，在原先的索引文档中，由于不是新插入的数据，所以其倒排索引列表还是原先的分词列表数据，导致就算拓展了词库，新增的分词也没有生效。在不重新导入数据的前提下，处理办法如下
解决办法
通过_update_by_query去更新匹配的文档，如果没有指定查询，那么就会在每个文档上执行更新
POST /my-index-000001/_update_by_query?conflicts=proceed

conflicts：
表示如果更新过程中发生异常冲突时如何处理：
（1）abor

			
		

	





	

		

			

				
					
Elasticsearch 中 _update_by_query 和 _delete_by_query

					
最新发布

				
			

			

				

					苍煜
				

				

					07-25
					
					720
					
				

			

		

		

			
				
我们可以从tags属性中删除一个元素。请注意，为了避免运行时错误需要先判断是否存在待删除的元素。注：可以使用脚本在update API中用来改变_source字段的内容，它在更新脚本中称为：ctx._source。将_id 为 2的记录 userid 更新为6，nickname更新为 “王二”

			
		

	



		

			
		



	

		

			

				
					
IK分词器新增词库使历史数据生效

				
			

			

				

					程序员小强的博客
				

				

					01-06
					
					7018
					
				

			

		

		

			
				
背景
IK作为常用的ES中文分词插件。但是在IK新增热词后，不会去更新历史数据，只有后续新增的数据才生效。
那么问题来了？

如何对历史数据进行更新呢?

解决方案
官方提供根据查询更新update_by_query
POST test_index/_update_by_query?conflicts=proceed

格式：test_index 索引名
注：此命令会更新索引下所有数据，默认按照1000一个批次处理，如下图1773条数据需要2个批次。

实现原理简析

当发起更新请求时，会按照批次拉取数据并

			
		

	





	

		

			

				
					
20200320ElasticSearch新增IK扩展词后，让历史数据生效方法

				
			

			

				

					Tomcat_wr8的博客
				

				

					03-20
					
					1340
					
				

			

		

		

			
				
问题描述：

IK远程词典热更新后，使用ES查询命令查询不到更新之后的分词，ES中的历史数据未按照新扩展词典分词。

问题原因：

IK是ES的中文分词插件。在IK新增热词后，不会去更新历史数据，即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。

解决办法：

 使用ES自己提供的update_by_query接口。如下图所示：



1.调用接口：http://i...

			
		

	





	

		

			

				
					
ES新建分词后更新历史索引操作

				
			

			

				

					qq_41978323的博客
				

				

					10-31
					
					363
					
				

			

		

		

			
				
POST 索引名称/_update_by_query?– 新建热词使历史数据生效。

			
		

	





	

		

			

				
					
elasticsearch IK分词器的安装、使用与扩展

				
			

			

				

					修理男爵的博客
				

				

					04-01
					
					5293
					
				

			

		

		

			
				
ES 的默认分词器(standard)不支持中文分词，满足不了平时的需求，所以需要用能够支持中文分词的 IK 分词器。而且 IK 分词器也是支持英文分词的。

本文介绍下IK分词器的安装、基本使用方法；专有名词、同义词的使用；英文驼峰分词的实现。

下载与安装

中文IK分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

选择一个版本下载，然后解压。
	在 elasticsearch 的 plugins 目录中新建文件夹 

			
		

	





	

		

			

				
					
ES分词字典更新查询不到数据

				
			

			

				

					weixin_49374214的博客
				

				

					08-17
					
					1344
					
				

			

		

		

			
				
ES分词新增字典后查询不到数据

			
		

	





	

		

			

				
					
ElasticSearch单节点部署

				
			

			

				

					liucy007的博客
				

				

					12-08
					
					2374
					
				

			

		

		

			
				
1. 虚拟机环境准备
准备一台虚拟机
操作系统：CentOS 7.x 64 bit
客户端连接工具：FinalShell
关闭虚拟机的防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state # 查看防火墙


Elasticsearch Single-Node Mode部署
我们在虚拟机上部署Single-Node Mod

			
		

	





	

		

			

				
					
安装ik分词器

				
			

			

				

					qq_44833327的博客
				

				

					06-12
					
					1469
					
				

			

		

		

			
				
安装分词器

			
		

	





	

		

			

				
					
Elasticsearch的安装与使用

				
			

			

				

					
				

				

					04-05
					
					238
					
				

			

		

		

			
				
本部分内容共分为六个章节，依次介绍了es的概念，使用场景，安装配置，restfuAPI的使用，javaAPI的整合，kibana的安装配置与使用，logstash同步mysql数据到es,以及一些常见的报错及解决方案

			
		

	





	

		

			

				
					
elasticsearch6.5.4 添加 ik 中文分词器无需重启分词热更新

				
			

			

				

					weixin_42247563的博客
				

				

					01-23
					
					3835
					
				

			

		

		

			
				
第一步： 安装elasticsearch6.5.4版本

第二步：下载elasticsearch-ik-6.5.4.zip 例如：https://github.com/medcl/elasticsearch-analysis-ik

       拷贝到es的plugins/ik目录下 解压缩，

       把elasticsearch-analysis-ik-...

			
		

	





	

		

			

				
					
ElasticSearch基础杂烩-配置-索引-优化

					
热门推荐

				
			

			

				

					胡杰的专栏
				

				

					10-29
					
					3万+
					
				

			

		

		

			
				
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。 
 
官方站点：http://www.elasticsearch.com/ 
中文站点：http://es-cn.medcl.net/  
 
 1.安装 
 
必须先安装Java环

			
		

	





	

		

			

				
					
ElasticSearch的Update By Query的坑（使用注意事项及其方案）

				
			

			

				

					qq_33999844的博客
				

				

					10-09
					
					1万+
					
				

			

		

		

			
				
ES的Update By Query对应的就是关系型数据库的update set ... where...语句；

ES的Update By Query可能存在的坑：比如批量更新时非事务模式执行（允许部分成功部分失败）、大批量操作会超时、频繁更新会报错（版本冲突）、脚本执行太频繁时又会触发断路器等。



1. 非事务模式执行

所有更新和查询失败都会导致update_by_query中止，并在响应失败时返回。已执行的更新仍然存在。（该过程不会回滚，只会中止）

使用时候不建议太大数据的修改；

建议增加.

			
		

	





	

		

			

				
					
【Elastic】ES重建索引怎么才能做到数据无缝迁移呢？

				
			

			

				

					日常开发分享
				

				

					12-31
					
					1321
					
				

			

		

		

			
				
背景众所周知，Elasticsearch是⼀个实时的分布式搜索引擎，为⽤户提供搜索服务。当我们决定存储某种数据，在创建索引的时候就需要将数据结构，即Mapping确定下来，于此同时索引的...

			
		

	





	

		

			

				
					
修改ES默认分词设置

				
			

			

				

					张胜楠的博客
				

				

					04-16
					
					2万+
					
				

			

		

		

			
				
        ES的默认分词设置是standard，这个在中文分词时就比较尴尬了，会单字拆分，比如我搜索关键词“清华大学”，这时候会按“清”，“华”，“大”，“学”去分词，然后搜出来的都是些“清清的河水”，“中华儿女”，“地大物博”，“学而不思则罔”之类的莫名其妙的结果，这里我们就想把这个分词方式修改一下，于是呢，就想到了ik分词器，有两种ik_smart和ik_max_word。       ...

			
		

	





	

		

			

				
					
Elasticsearch 7.X 中文分词器 ik 使用，及词库的动态扩展

				
			

			

				

					小毕超博客
				

				

					01-02
					
					1万+
					
				

			

		

		

			
				
一、ik中文分词器
上篇文章我们学习了ES集群分片和水平扩容，前面再使用的时候应该就会发现，在做match 匹配时，默认会进行分词，但当查询内容是中文时，分词效果是一个字被认定了一个词，这显然不符合我们对中文分词的效果，因此本篇我们讲解下ES中中文分词器ik 的使用。

上篇文章地址：https://blog.csdn.net/qq_43692950/article/details/122246286

ik是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的，结合词典分词和文法分

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值