ES跨集群数据迁移方案

最新推荐文章于 2024-08-08 00:45:00 发布

黑武士1024

最新推荐文章于 2024-08-08 00:45:00 发布

阅读量985

点赞数 1

本文链接：https://blog.csdn.net/andy_only/article/details/111319175

版权

本文介绍了在测试环境与生产环境网络不通的情况下，如何利用Elasticsearch的snapshot API结合共享文件系统进行数据迁移。详细步骤包括在测试环境创建快照，压缩并拷贝到开发环境，然后在开发环境中恢复快照数据。

摘要由CSDN通过智能技术生成

需求背景

测试环境 ES集群需要同步数据到生产环境ES集群。
且测试环境和生产环境网络不通。

迁移方案

通过ES snapshot api 物理文件共享实现数据迁移

测试环境（数据源）

1、注册共享文件系统仓库

修改elasticsearch.yml配置

##添加共享目录
path.repo: ["/data/share"]
##重启所有节点服务
$ service elasticsearch restart

注册快照仓库

$ curl -XPUT "localhost:9200/_snapshot/my_backup" -H 'Content-Type: application/json' -d
'{
  "type":

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黑武士1024

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ES跨集群数据迁移

qq_38523789的博客

11-19

892

ES跨集群数据迁移一、ES备份主要有以下几种方法，以下以hdfs为例 1、fs 文件挂载 2、url 网络协议存储 (http,https,ftp) 3、s3 亚马逊 4、hdfs 5、azure 微软 6、gcs 谷歌二、以hdfs方式迁移主要涉及到的概念 1.repository(仓库) es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库 2.snapshot (快照) 创建仓库后,我们可以创建快照,创建快照时必须指定一个仓库,需要依附某个仓库某个快照包含多个index

Elasticsearch跨集群数据迁移方案+代码操作

shichengcheng_scc的博客

12-16

743

主流的ES迁移有三套方案 1、logstash数据同步 2、ES dump 3、ES snapshot迁移 1、logstash数据同步 1. 指定索引index全量迁移配置文档：当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。 input { elasticsearch { hosts => [“120.92.155.44:9200”] index => “map” docinfo => true } } output { elasticsearch {

1 条评论您还未登录，请先登录后发表或查看评论

ES8生产实践——ES跨集群数据迁移方案测评

qq_33816243的博客

03-20

2182

方案esmreindexlogstashsnapshot基本原理逻辑备份，类似mysqldump将数据一条一条导出后再执行导入ESM 是 medcl 开源的派生自：Elasticsearch Dumper 的工具，基于 go 语言开发。reindex 是 Elasticsearch 提供的一个 API 接口，可以把数据从一个集群迁移到另外一个集群从一个集群中读取数据然后写入到另一个集群从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复网络要求无网络互通要求。

【ElasticSearch】ElasticSearch数据迁移方法介绍

热门推荐

yumin841931783的博客

11-15

1万+

文章目录O、简介一、使用elasticdump工具迁移0.安装nodejs（如果已安装请忽略）1.升级nodejs2.安装elasticdump工具3.迁移指定索引的settings，mapping，data二、利用ES自带快照备份到文件存储进行迁移0.源ES集群指定共享文件夹1.源ES集群中创建repository2.创建快照（快照备份数据）3.移动源ES集群snapshot至目标ES集群的仓库...

es迁移工具，实现es数据的两个集群之间或者导出到本地进行迁移.zip

01-03

当你需要在两个不同的Elasticsearch集群之间迁移数据时，这个工具可以派上用场。集群间的迁移通常是因为扩展、优化硬件配置、合并或分离集群等原因。工具能够帮助你高效地复制索引、文档和设置，确保迁移过程尽可能...

基于Java的Elasticsearch数据同步迁移工具设计源码

04-03

本设计源码提供了一个基于Java的Elasticsearch数据同步迁移工具。项目包含29个文件，主要使用Java和Shell编程语言。文件类型包括7个Java源代码文件、5个BAT批处理文件、5个Shell脚本文件、3个XML配置文件、2个...

elasticsearch 小规模数据跨集群迁移

sslfk的博客

03-23

1700

迁移方法1，通过代码迁移，优点不需要改动任何集群配置和重启器群： from elasticsearch import Elasticsearch from elasticsearch import helpers def get_all_data(table, query_dsl,scroll='5m',timeout='1m'): es = Elasticsearch([{'host': "IP", 'port': PORT, "http_auth": "user:passwd"}])

es数据跨集群的两种迁移方式

weixin_40368523的博客

05-11

3628

少量数据迁移使用elasticdump 安装npm，然后安装elasticdump npm install elasticdump -g 以下是分了三个步骤进行，第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步mapping与data。 # -*- coding:utf-8-*- from elasticsearch import Elasticsearch impor

ElasticSearch集群迁移和升级总结

varyall的专栏

05-18

8160

ElasticSearch（后面简称ES）是一个基于Lucene的实时搜索服务器，广泛用于帮助网站的搜索解决方案。本文主要是分享了此次对ES集群的迁移和升级的一些经验和步骤，希望对以后又类似迁移和升级的提供一些经验和帮助。背景因为ES所在机器，有会大量占用cpu和内存的软件，导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。迁移方法我们使用的ES版本是2.3.3，现在已经更新到了5...

ElasticSearch数据迁移方法介绍

zxcsd11的博客

01-16

6110

本文为ES数据迁移方法梳理，方便学习和记录。同时为ES数据迁移方法选择提供参考，本文若有不足之处还请谅解!并评论指正。

Elasticsearch多种方案数据迁移

web18224617243的博客

04-18

1706

Elasticsearch数据迁移注意：Elasticsearch同版本数据迁移，只需将数据存储目录的文件拷贝到新集群path，重启es集群，即可自动recovery，迁移效率最快。这种方案需要重新给启动用户赋权限，然后es启动即可。不同版本可采取以下方案：方案1：使用Elasticsearch-Exporter迁移 1.Elasticsearch-Exporter简介：将ES中的数据向其他导出的简单脚本实现。 2.Elasticsearch-Exporter安装： npm install nomn

elasticsearch 跨集群迁移好用方案之一

weixin_38424594的博客

02-01

857

elasticsearch 跨集群迁移数据好用方案之一

es数据跨集群迁移（HDSF方法）

ClearloveXXX的博客

09-05

2340

es 备份存储方式支持以下几种方式: fs 文件挂载 url 网络协议存储 (http,https,ftp) s3 亚马逊 hdfs azure 微软 gcs 谷歌本篇文章采用hdfs方式存储 1.repository(仓库) es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库 2.snapshot (快照) 创建仓库后,我们...

Elasticsearch ES数据迁移方法及注意事项

m0_67403073的博客

08-16

2814

查询并导出数据拷贝ES物理目录/文件ES快照数据备份和恢复。

ES不同服务器间数据迁移

h1403635700的博客

07-06

1772

ES数据迁移

elasticsearch集群数据迁移

09-19

elasticsearch集群数据迁移有多种方案可供选择。其中一种方案是将数据存储目录的文件拷贝到新集群的路径下，并重启es集群，系统会自动进行数据恢复。这种方案的优点是迁移效率很高，但需要重新赋予启动用户权限。 ...