ES跨集群数据迁移

ES跨集群数据迁移

一、ES备份主要有以下几种方法，以下以hdfs为例
1、fs 文件挂载
2、url 网络协议存储 (http,https,ftp)
3、s3 亚马逊
4、hdfs
5、azure 微软
6、gcs 谷歌

二、以hdfs方式迁移主要涉及到的概念
1.repository(仓库)
es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库
2.snapshot (快照)
创建仓库后,我们可以创建快照,创建快照时必须指定一个仓库,需要依附某个仓库
某个快照包含多个index(数据库,schemea),默认备份整个集群index；当然可以指定备份的索引
3.restore (恢复)
备份后导入到hdfs,进行快照恢复.
4.从ES官⽅⽹站下载与现场ES版本⼀致的插件,在所有ES节点安装repository-hdfs插件，⽅式是将plugin⽂件打⼊镜像，然后重启服务，这样所有节点就都完成了配置,
5.修改每个ES节点的jvm.options配置⽂件，加⼊参数-
Djava.security.policy=/…/plugins/repository-hdfs/plugin-security.policy以避免出
现JVM的JSM安全校验导致的报错

三、迁移步骤
----------------源集群（在源集群操作）
url:HDFS Namenode节点IP
HDFS 配置文件： /etc/hdfs1/conf/hdfs-site.xml
仓库hdfs路径：/user/backup/01
1、创建Repository
curl -XPUT “localhost:9200/_snapshot/geo_repository?pretty&