【elasticsearch】使用工具迁移索引数据

最新推荐文章于 2024-08-08 00:45:00 发布
最新推荐文章于 2024-08-08 00:45:00 发布
阅读量1.1w 收藏 5
点赞数 2
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014587343/article/details/50541494
版权
本文介绍了如何方便地迁移Elasticsearch的索引数据，包括使用Elasticsearch-dump进行映射和数据迁移，以及使用Elasticsearch-exporter一键迁移多个索引。此外，还提到了一种通过调整分片规则进行手动迁移的方法，但未详细展开。
摘要由CSDN通过智能技术生成

大家都知道，Elasticsearch手动迁移索引到其他机器上是一件非常麻烦的事情。

1. Elasticsearch-dump

这个是我比较常用的一个工具 
1) yum install epel-release

2) yum install nodejs

3) yum install nodejs npm

4) npm install elasticdump

5) cd node_modules/elasticdump/bin

6)./elasticdump  --input=http://192.168.1.1:9200/original --output=http://192.168.1.2:9200/newCopy --type=data
第6步是迁移到新索引的命令。需要注意的是如果只使用这个命令的话，目的索引必须先手动创建一下mapping，不然迁移过去类型会自动判断，date类型判断成string等等

如果你很懒你不想自己创建索引，那么你可以在执行6)之前做一下：

./elasticdump  --input=http://192.168.1.1:9200/original --output=http://192.168.1.2:9200/newCopy --type=mapping
 

 


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  东倒西歪cy
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
springboot 实现elasticsearch索引数据迁移

				
			

			

				

					congge
				

				

					01-08
					
					7255
					
				

			

		

		

			
				
springboot实现es数据迁移

			
		

	



                

              
                



	

		

			

				
					
ElasticSearch部署全攻略——数据迁移_elasticsearch 数据迁移

				
			

			

				

					2301_79098963的博客
				

				

					04-27
					
					1215
					
				

			

		

		

			
				
对于elasticsearch迁移，目前主要有三种方式，分别为快照、logstash和elasticsearch-dump。其中logstash需要两个es集群在同一个局域网下，通过源和目标的方式进行数据迁移；elasticsearch-dump可以按需将数据备份后，再进行恢复，但是速度非常慢；快照方式可异地恢复，但恢复的集群es版本不可低于备份集群的版本。就以上特性，根据自己的实际需求，进行选择。但综合起来快照方式的局限性和易操作性最小，因此推荐该种方式。

			
		

	



                


  
              

                


	

		

			

				
					
elasticsearch索引迁移_Elasticsearch索引备份与迁移

				
			

			

				

					weixin_39725756的博客
				

				

					12-31
					
					744
					
				

			

		

		

			
				
作者: eavea 发表日期: 2020年04月14日 分类: 运维知识标签: Elasticsearch阅读次数: 6,202评论数: 0 条Elasticsearch索引备份与迁移总结Elasticsearch各种备份与迁移方案，亲测。详细记录了具体步骤。一、环境Ubuntu 14.04/16、04JDK1.8Elasticsearch 5.3Kibana 5.3.2二、单节点环境1. 创建备...

			
		

	





	

		

			

				
					
Elasticsearch必备技能之索引迁移

				
			

			

				

					a64910807的博客
				

				

					10-19
					
					222
					
				

			

		

		

			
				
将ES中的索引拷贝到其他ES中，是不是很重要呢？
长话短说，推荐一个工具：
一、elasticsearch-dump
安装：
#yum install epel-release
#yum install nodejs
#yum install npm
#npm install elasticdump
#cd node_modules/elasticdump/bin
#...

			
		

	



		

			
		



	

		

			

				
					
【ElasticSearch】ElasticSearch数据迁移方法介绍

				
			

			

				

					九师兄
				

				

					08-08
					
					279
					
				

			

		

		

			
				
方法说明该方法更好的使用在跨版本ES集群迁移中，它允许 ES集群一次升级一个节点，因此在升级期间不会中断服务。不支持在升级持续时间之后在同一集群中运行多个版本的 ES，因为无法将分片从升级的节点复制到运行旧版本的节点。所以在升级前需要对当前使用版本进行备份，以便在升级出现异常时进行回滚。同时在升级过程中优先选择data节点，在data节点升级完成后，在对集群中master节点进行升级。同一主要版本的次要版本之间。

			
		

	





	

		

			

				
					
Elasticsearch索引迁移的四种方式

					
热门推荐

				
			

			

				

					铭毅天下Elasticsearch
				

				

					03-23
					
					7万+
					
				

			

		

		

			
				
本文主要讲解Elasticsearch下实现索引迁移的几种方式。



0、引言

将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。 
除此之外，logstash在索引同步、迁移方面的作用也很大。 
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：



1、el...

			
		

	





	

		

			

				
					
ElasticSearch-索引迁移

				
			

			

				

					Zong_0915的博客
				

				

					08-03
					
					698
					
				

			

		

		

			
				
ElasticSearch-索引迁移



			
		

	





	

		

			

				
					
ES数据库重建索引——Reindex(数据迁移)

				
			

			

				

					weixin_55416758的博客
				

				

					03-26
					
					898
					
				

			

		

		

			
				
应用背景：
1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。 2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；但是在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的， 所以这种情况下也可以考虑尝试使用Reindex。
Reindex：
ES提供了_reindex这个API。相对于我们重新导入数据肯定会快不少，实测速度大概是bulk导入数据的5-10倍

			
		

	





	

		

			

				
					
esm：Elasticsearch迁移工具

				
			

			

				

					02-06
				

			

		

		

			
				
Elasticsearch迁移工具 Elasticsearch跨版本数据迁移。 特征：  支持跨版本迁移 覆盖索引名称 复制索引设置和映射 支持http基本认证 支持转储到本地文件的索引 支持从本地文件加载索引 支持http代理 支持切片滚动...

			
		

	





	

		

			

				
					
es迁移工具，实现es数据的两个集群之间或者导出到本地进行迁移.zip

				
			

			

				

					01-03
				

			

		

		

			
				
总结来说，这个名为"es迁移工具"的压缩包为Elasticsearch的数据迁移提供了方便，无论是在两个集群间还是向本地备份，都能确保数据的安全、高效转移。正确理解和使用这个工具，可以帮助我们更好地管理和维护Elastic...

			
		

	





	

		

			

				
					
ese:将 Elasticsearch 索引从一个集群导出到另一个集群的工具

				
			

			

				

					05-30
				

			

		

		

			
				
ESE 是一个受和启发的。
 此脚本从 Elasticsearch 滚动 API 检索以从源和多处理检索以在目标服务器上建立索引。 它使用 RequestsHttpConnection 进行 gzip 压缩。
安装
 pip install ese
对于勇敢... 
 pip install -e git+https://github.com/merlin83/ese#egg=ese
用法
 usage: ese.py [-h] [--src-host SRC_HOST] [--src-port SRC_PORT]
              [--src-index SRC_INDEX] [--src-batch-size SRC_BATCH_SIZE]
              [--dest-host DEST_HOST] [--dest-port DEST_PORT]
     

			
		

	





	

		

			

				
					
Elasticsearch索引库迁移（索引库备份、重建索引）

				
			

			

				

					未知的希望，是我不灭的信仰
				

				

					03-04
					
					836
					
				

			

		

		

			
				
前一段时间呢，遇到点问题，就是生产上某个索引库累积了 T 为单位的数据，且这个索引库是单点的.........

对没错，这个索引库没有分片没有副本（因为当时上线太着急，没来得及设置，后期已经不能再加了）

所以这个单点问题必须处理，毕竟是以T为单位的，万一索引库挂了，容易造成这个Elasticsearch集群节点的离线，这要是节点离线了，可能会对其他节点以及索引库造成不可预知的影响，毕竟其他索引库在这个节点上也是有分片和副本的....

有这么几个处理方案：

1、使用策略

 占用多大空间时就自动开..

			
		

	





	

		

			

				
					
elasticsearch索引迁移_ElasticSearch 索引整体迁移方案

				
			

			

				

					weixin_39927993的博客
				

				

					12-22
					
					228
					
				

			

		

		

			
				
以下都是经过实战验证过的！！！【前提】使用相同的版本 ElasticSearch-5.5.1，只不过是在不同的服务器之间且重跑数据相对来说代价比较高，这种情况下就可以使用一下这种方式对索引整体迁移当然也支持 ElasticSearch 不同版本之间的迁移(这个没有亲测)，以及从不同数据源同步等操作首先需要安装 nodejs npm 相关组件，我本机环境是 CentOS 环境，直接通过 yum 进行...

			
		

	





	

		

			

				
					
ES 索引迁移

				
			

			

				

					istruth::blog
				

				

					03-01
					
					402
					
				

			

		

		

			
				
【代码】ES 索引迁移。

			
		

	





	

		

			

				
					
elasticsearch索引迁移_给Elasticsearch数据搬个家

				
			

			

				

					weixin_29291185的博客
				

				

					01-04
					
					939
					
				

			

		

		

			
				
随着数字化时代的到来，数据量正在经历爆炸式增长，选择使用Elasticsearch的企业变得越来越多。京东云搜索Elasticsearch(JCS for Elasticsearch，简称ES)是基于开源Elasticsearch的分布式全文搜索服务，产品能够提供高可用、易扩展以及近实时的搜索能力，致力于海量数据存储搜索和实时日志分析，旨在为用户提供更稳定、实时、可靠的云搜索服务。上...

			
		

	





	

		

			

				
					
ElasticSearch数据迁移方法介绍

				
			

			

				

					zxcsd11的博客
				

				

					01-16
					
					6016
					
				

			

		

		

			
				
本文为ES数据迁移方法梳理，方便学习和记录。同时为ES数据迁移方法选择提供参考，本文若有不足之处还请谅解!并评论指正。

			
		

	





	

		

			

				
					
Elasticsearch数据迁移及优化方案

				
			

			

				

					Z.Virgil的博客
				

				

					12-14
					
					5841
					
				

			

		

		

			
				
背景介绍：

目前es体系未做冷热数据拆分，随着数据的增长，所需要的空间越来越多。以3月数据为例，3月2.0的数据占用量为1.94T，接近2T。

目前存储的剩余空间截止到4月4日的统计数字，大概有3T左右，也就是说还可以坚持1个多月的时间，因为当es存储占用接近90%时，将会出现尝试迁移数据的操作，但如果所有节点都超过90%，这种重试可能导致致命的后果，造成分片丢失。咱们在之前的测试环...

			
		

	





	

		

			

				
					
elasticsearch数据导出/导入

				
			

			

				

					BrotherDong90的专栏
				

				

					09-25
					
					2万+
					
				

			

		

		

			
				
官方提供了snapshot方式，是索引文件的方式，但是有时候我们需要原始数据，所以，elasticdump就诞生了，方式是从es中查询数据。比较方便，但是，如果数据量比较大，最好按照一定规则来导出，比如按天导出，这样如果出现问题比较好处理。 
https://github.com/taskrabbit/elasticsearch-dump?utm_source=dbweekly&utm_medium

			
		

	





	

		

			

				
					
elasticsearch数据库如何迁移数据

					
最新发布

				
			

			

				

					09-07
				

			

		

		

			
				
在JavaScript中，直接迁移Elasticsearch数据库并不是一个常见的操作，因为JavaScript通常不是用来处理底层数据库迁移的。通常，数据迁移会在服务器端完成，比如使用Elasticsearch自身的快照和恢复功能，或者通过API迁移数据。

如果你想使用JavaScript来辅助迁移Elasticsearch数据，你可以使用Elasticsearch提供的REST API来查询数据，并将数据导出到文件中，然后再将这些数据导入到另一个Elasticsearch实例中。

下面是一个简单的例子，展示如何使用Node.js和Elasticsearch JavaScript客户端来导出索引数据到JSON文件中：

```javascript
const { Client } = require('@elastic/elasticsearch');
const fs = require('fs');

const client = new Client({ node: 'http://localhost:9200' });

async function exportIndexData(indexName, fileName) {
  const response = await client.search({
    index: indexName,
    size: 1000, // 假设每次返回1000条数据，根据实际情况调整
    _source: '*', // 返回所有字段
    scroll: '2m' // 设置滚动时间窗口
  });

  const hits = response.body.hits.hits;

  // 将当前批次的数据写入文件
  fs.writeFileSync(fileName, JSON.stringify(hits.map(hit => hit._source), null, 2) + '\n');

  // 如果还有更多批次的数据，则继续滚动
  if (response.body hits hits.length === 1000) {
    // 继续滚动获取数据的逻辑
  }
}

// 调用函数，例如导出名为 'my_index' 的索引数据到 'data.json'
exportIndexData('my_index', 'data.json').catch(console.log);
```

然后，你可以使用相应的Elasticsearch REST API或客户端库从JSON文件导入数据到新的Elasticsearch集群中。

请注意，这只是一个非常基础的示例。在实际的迁移过程中，可能需要考虑数据的一致性、完整性、错误处理以及性能问题。更复杂的场景下，你可能需要编写更复杂的逻辑来确保数据能够正确迁移。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值