Elasticsearch集群跨机房迁移方案

已于 2022-05-18 09:30:08 修改
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Elasticsearch运维实践 文章标签： elasticsearch 分布式 大数据 运维
于 2022-05-17 17:24:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43005694/article/details/124824933
版权

目录

背景介绍

1 A机房elasticsearch集群基本情况

2 在B机房完成elasticsearch集群扩容

2.1 扩容规划

2.2 启动非master节点

2.3 通知业务修改集群连接地址

3 将索引数据排空迁移至B机房

4 下线A机房data节点

5 master节点切割

5.1 关闭集群自动均衡

5.2 从节点pending master切割

5.3 主节点required master切割

6 恢复集群配置

7 修改B机房节点配置，不需要重启

背景介绍

因为业务调整，我司有一批服务器需要从A机房退役迁移至B机房。但是因为涉及业务量太大，为了降低对业务的影响，本次迁移通过先扩容，再缩容的方式完成迁移。本次es集群迁移以elasticsearch集群介绍为例，所有迁移流程均有实践操作。

1 A机房elasticsearch集群基本情况

A机房elasticsearch集群一共10个节点，其中7个节点为data角色，其余3个节点为master/data角色合装，discovery.zen.ping.unicast.hosts配置为三个master节点：10.0.0.1,10.0.0.2,10.0.0.3

network.hostnode.namenode.datanode.master
10.0.0.1node1truetrue
10.0.0.2node2truetrue
10.0.0.3node3truetrue
10.0.0.4node4trueflase
10.0.0.5node5trueflase
10.0.0.6node6trueflase
10.0.0.7node7trueflase
10.0.0.8node8trueflase
10.0.0.9node9trueflase
10.0.0.10node10trueflase

2 在B机房完成elasticsearch集群扩容

2.1 扩容规划

B机房elasticsearch集群规划一共10个节点，其中7个节点为data角色，余下3个节点规划为单独master角色，discovery.zen.ping.unicast.hosts配置为六个master节点：10.0.0.1,10.0.0.2,10.0.0.3,20.1.1.1,20.1.1.2,20.1.1.3

注：B机房将master和data角色分离，是为了减轻合装给master带来的压力，导致集群出现不稳定性。

network.hostnode.namenode.datanode.master是否启动
20.1.1.1node11flasetrue否
20.1.1.2node12flasetrue否
20.1.1.3node13flasetrue否
20.1.1.4node14trueflase是
20.1.1.5node15trueflase是
20.1.1.6node16trueflase是
20.1.1.7node17trueflase是
20.1.1.8node18trueflase是
20.1.1.9node19trueflase是
20.1.1.10node20trueflase是

2.2 启动非master节点

只启动data节点，用于数据的迁移。master节点服务暂时不启动。

ssh 20.1.1.4 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.5 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.6 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.7 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.8 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.9 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'
ssh 20.1.1.10 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'

2.3 通知业务修改集群连接地址

因为A机房机器下线后，只剩下B机房机器可以连通，所以连接地址需要修改为B机房node.data节点。不连接master节点原因，只是为了减轻master节点负担。

20.1.1.4:9200,20.1.1.5:9200,20.1.1.6:9200,20.1.1.7:9200,20.1.1.8:9200,20.1.1.9:9200,20.1.1.10:9200

3 将索引数据排空迁移至B机房

注：跨机房数据迁移，需要提前考虑机房间带宽情况。防止集群带宽速率过高，影响到其他业务传输。

1、先检查集群是否已经有节点数据被排空
curl -XGET "http://集群任意IP:9200/_cluster/settings?pretty"
#curl命令可以在kibana替换为如下命令：
get /_cluster/settings?pretty
​
2、如果1查询结果有排空数据的节点，接下来操作需要做追加。无则忽略。
curl -XPUT "http://集群任意IP:9200/_cluster/settings?pretty" -H 'Content-Type:application/json' -d '{"persistent":{"cluster.routing.allocation.exclude._ip" : "10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4,10.0.0.5,10.0.0.6,10.0.0.7,10.0.0.8,10.0.0.9,10.0.0.10"},"transient":{"cluster.routing.allocation.exclude._ip":"10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4,10.0.0.5,10.0.0.6,10.0.0.7,10.0.0.8,10.0.0.9,10.0.0.10"}}'
#curl命令可以在kibana替换为如下命令：
PUT /_cluster/settings  //排空数据节点，填 的老节点的ip
{
  "persistent" :{
      "cluster.routing.allocation.exclude._ip" : "10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4,10.0.0.5,10.0.0.6,10.0.0.7,10.0.0.8,10.0.0.9,10.0.0.10"
   },
     "transient" :{
      "cluster.routing.allocation.exclude._ip" : "10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4,10.0.0.5,10.0.0.6,10.0.0.7,10.0.0.8,10.0.0.9,10.0.0.10"
   }
}
​
3、检查数据排空进度
curl -XGET "http://集群任意IP:9200/_cat/shards?v&pretty&s=state:desc"
#curl命令可以在kibana替换为如下命令：
get /_cat/shards?v&pretty&s=state:desc
​
4、调整如下参数，可以加快跨机房数据迁移速度。
#每秒传输速度，默认40Mb
PUT /_cluster/settings  
{
  "persistent" :{
      "indices.recovery.max_bytes_per_sec" : "200mb"
   },
     "transient" :{
      "indices.recovery.max_bytes_per_sec" : "200mb"
   }
}
​
#恢复线程数，默认是2
PUT /_cluster/settings  
{
  "persistent": {
    "cluster.routing.allocation.node_concurrent_recoveries": "5"
  },
  "transient": {
    "cluster.routing.allocation.node_concurrent_recoveries": "5"
  }
}
​
#当前节点在进行主分片恢复时的数量，默认是4
PUT /_cluster/settings 
{
  "persistent": {
    "cluster.routing.allocation.node_initial_primaries_recoveries": "5"
  },
  "transient": {
    "cluster.routing.allocation.node_initial_primaries_recoveries": "5"
  }
}

4 下线A机房data节点

数据排空后，下线A机房只含data角色的节点。含有master角色的节点需要放在切割阶段下线。

ps -ef|grep org.elasticsearch.bootstrap.Elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9

5 master节点切割

5.1 关闭集群自动均衡

1、关闭集群自动均衡。用于启时候，禁自动均衡 
curl -XPUT "http://集群任意IP:9200/_cluster/settings?pretty" -H 'Content-Type:application/json' -d 
'{
  "persistent" :{
      "cluster.routing.rebalance.enable": "none"
   },
     "transient" :{
      "cluster.routing.rebalance.enable": "none"
   }
}'
#curl命令可以在kibana替换为如下命令：
PUT /_cluster/settings  
{
  "persistent": {
    "cluster.routing.rebalance.enable": "none"
  },
  "transient": {
    "cluster.routing.rebalance.enable": "none"
  }
}
​
2、检查群自动均衡是否关闭
curl -XGET "http://集群任意IP:9200/_cluster/settings?pretty"
#curl命令可以在kibana替换为如下命令：
get/_cluster/settings?pretty

5.2 从节点pending master切割

排除掉required master节点，就是pending master。确认主节点required master方法如下

curl http://集群任意IP:9200/_cat/master?v
#curl命令可以在kibana替换为如下命令：
get /_cat/master?v

假如：10.0.0.3为required master节点：

第一步：停10.0.0.1，起20.1.1.1

 ssh 10.0.0.1 -C 'ps -ef|grep org.elasticsearch.bootstrap.Elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9'
​
 ssh 20.1.1.1 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'

第二步：停10.0.0.2，起20.1.1.2

 ssh 10.0.0.2 -C 'ps -ef|grep org.elasticsearch.bootstrap.Elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9'
​
 ssh 20.1.1.2 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'

5.3 主节点required master切割

 ssh 10.0.0.3 -C 'ps -ef|grep org.elasticsearch.bootstrap.Elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9'

 ssh 20.1.1.3 -C 'su - es -c "cd /home/es/software/elasticsearch/bin;sh elasticsearch -d"'

检查master是否已经全部迁移至B机房，A机房master是否已经全部下线

curl http://集群任意IP:9200/_cat/nodes?v
#curl命令可以在kibana替换为如下命令：
get /_cat/nodes?v

6 恢复集群配置

1、打开集群自动均衡
curl -XPUT "http://集群任意IP:9200/_cluster/settings?pretty" -H 'Content-Type:application/json' -d '{"persistent" :{"cluster.routing.rebalance.enable": "all"}}'
curl -XPUT "http://集群任意IP:9200/_cluster/settings?pretty" -H 'Content-Type:application/json' -d '{"transient" :{"cluster.routing.rebalance.enable": "all"}}'
#curl命令可以在kibana替换为如下命令：
PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.rebalance.enable": "ALL"
  },
  "transient": {
    "cluster.routing.rebalance.enable": "ALL"
  }
}

2、检查集群自动均衡是否打开
curl -XGET "http://集群任意IP:9200/_cluster/settings?pretty"
#curl命令可以在kibana替换为如下命令：
get /_cluster/settings?pretty

7 修改B机房节点配置，不需要重启

注：此处只需要elasticsearch.yml配置文件，删除A机房相关的节点信息就可以。

修改elasticsearch.yml配置文件中discovery.zen.ping.unicast.hosts配置项，将
10.0.0.1,10.0.0.2,10.0.0.3,20.1.1.1,20.1.1.2,20.1.1.3
修改为：
20.1.1.1,20.1.1.2,20.1.1.3

我的微信公众号同步发表了这一篇文章，欢迎各位小伙伴阅读加关注。

Elasticsearch集群跨机房迁移实战方案背景介绍因为业务调整，我司有一批服务器需要从A机房退役迁移至B机房。但是因为涉及业务量太大，为了降低对业务的https://mp.weixin.qq.com/s?__biz=MzA5MjkyNjU5MQ==&mid=2247483706&idx=1&sn=617ea2b0a71cd0b4e59d7f3d619d1d3c&chksm=9064e62aa7136f3c7bd2634954a28685a80f597cbaecfecb51b4517e67b80042f21f55805453#rd

可乐大数据
关注
专栏目录
完美避坑记一次Elasticsearch集群迁移架构实战
代码界的扛把子
05-15 324
当有新的带有数据角色节点加入集群或者离开集群，集群会默认启动自动平衡机制，索引分片会在数据节点之间平衡漂移，达到平均分布之后停止，频繁的集群节点加入或者下线会严重影响集群的IO，影响集群响应速度，所以要尽量避免此情况发生。其余的是备选管理节点，只是同步集群元数据信息，不参与协调管理。旧集群已经有5个管理节点，其中一个是工作主节点，其余4个是备选节点，因为Elastic版本是6.5.X，原有的集群脑裂因子设置是3=（5/2+1），当启动新集群的管理节点，若网络出现短暂通信问题，集群脑裂因子设置会无效。
完美避坑！记一次Elasticsearch集群迁移架构实战
代码界的扛把子
08-24 546
当有新的带有数据角色节点加入集群或者离开集群，集群会默认启动自动平衡机制，索引分片会在数据节点之间平衡漂移，达到平均分布之后停止，频繁的集群节点加入或者下线会严重影响集群的IO，影响集群响应速度，所以要尽量避免此情况发生。其余的是备选管理节点，只是同步集群元数据信息，不参与协调管理。旧集群已经有5个管理节点，其中一个是工作主节点，其余4个是备选节点，因为Elastic版本是6.5.X，原有的集群脑裂因子设置是3=（5/2+1），当启动新集群的管理节点，若网络出现短暂通信问题，集群脑裂因子设置会无效。
记一次elasticsearch 跨机房迁移
sydhappy的专栏
06-21 384
目标将A机房的ES集群迁移到B机房的ES集群ealsticsearch调研了在线和离线迁移两种比较有代表性的方案，两种方案都进行了测试演练，不过最终选择了离线的方式，原因有几点：在线迁移方...
Elasticsearch数据迁移
最新发布
那些年匆匆
07-17 1164
近期在搞ES集群的迁移，以及日常ES运维中也涉及到同集群内索引的重命名、迁移等实际场景。就考虑把实际场景模拟一下，侧重不同集群间的数据迁移，对比观察一下目前主流的数据迁移方式的优点和缺点。为之后真实迁移场景提供参考。原生的reindex使用快照第三方：elsaticdump第三方：logstash先上结果吧！
同程旅行Hadoop集群跨机房迁移实践
过往记忆大数据
11-03 1385
本文作者：郭飞。现任同程旅行技术专家。Apache Hadoop、Hive、Sparkcontributor背景随着同程旅行业务和数据规模越来越大，原有的机房不足以支撑未来几年的扩容...
探讨elasticsearch tribe跨机房日志收集的实现
小埋的博客
08-11 1824
这篇文章主要是闲扯跨机房日志收集的一些事，后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的？ 使用Elasticsearch Tribe Node做es集群的代理？ 但这也是个好问题.对于全网的应用日志收集，我想做过运维的朋友都了解的. 不外乎就那么几种方案，ELK, Flume, Scribe ,flutend, 自主开发的。 但不管怎么说对于跨IDC的日志收集还是个大事，单纯从日志收
ElasticSearch数据迁移方法介绍
zxcsd11的博客
01-16 5932
本文为ES数据迁移方法梳理，方便学习和记录。同时为ES数据迁移方法选择提供参考，本文若有不足之处还请谅解!并评论指正。
ES 数据迁移最佳实践
Angus
10-26 2018
数据迁移是 Elasticsearch 运维管理和业务需求中常见的操作之一。本文提供了关于不同数据迁移方法的详细比较，包括开发程序、Dump工具、Logstash工具、快照、文件拷贝以及利用节点平衡的方式。每种方法都有其独特的优点和限制，适用于不同的迁移场景。快照适合大数据量且速度要求高的情况，而开发程序和工具提供了更大的灵活性和可定制性。此外，文中还提到了版本兼容性和数据完整性的重要性，以确保数据迁移的成功和安全性。最终，选择合适的数据迁移方法应根据具体需求和限制来进行综合考虑。
构建一个跨机房的Hadoop集群.pptx
06-08
本文档将详细介绍如何构建跨机房的Hadoop集群，讨论了阿里巴巴离线数据处理现状、技术方案、跨机房集群的困难、NameNode的扩展性、跨机房网络限制、数据和计算如何跨机房分布等问题，并提供了相应的解决方案。...
Elasticsearch集群迁移架构实战
希爷的博客
08-25 145
前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Elasticsearch实现，所以需要在不影响应用系统体验的情况下做到平滑的迁移。本次分享讲述我们如何进行平滑迁移以及如何避坑。 需要迁移的主要有两部分： 对外提供的服务AP...
ES集群数据备份与迁移
qq_53574266的博客
05-05 3902
言简意赅，本篇文章解决的问题是：当一个es集群中有数据，需要将数据迁移到另外一个es集群，或者是需要将es中的数据备份。 解决问题：repository_verification_exception
从腾讯云到自建机房？ES集群迁移架构实战
过往记忆大数据
04-23 904
作者介绍李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深...
一个正确的ES集群重启流程(附串行重启脚本)
一只小白
09-02 1万+
目录1、关闭集群自动均衡、禁止集群写入2、重启es集群3、打开集群自动均衡、开启集群写入4、补充一个串行重启es集群的shell脚本注释：本集群所有操作都在跳板机或者堡垒机进行，运维日常一般不需要我们登录具体的机器。...
Elasticsearch实战-数据同步（解决es数据增量同步）
Blueeyedboy521的博客
04-26 5421
一、数据同步问题分析 之前测试的数据都是一次从mysql导入到es，随着时间的推移，每天都有可能发生增删改查，不可能每次都全量同步，所以需要考虑增量同步问题。 二、解决方案 1、同步调用 缺点： 耦合性高，服务之间会相互影响 2、异步通知 依赖消息队列的可靠性 3、监听binlog 4、方案对比 三、案例-利用MQ实现Mysql与Elasticsearch数据同步 1、导入hotel-admin项目 启动：端口8099 2、申明exchange、queue、RoutingKey /** *
【Elasticsearch】小白实战！ES使用Reindex迁移数据
Your_Boy_Tt的博客
11-01 4352
ES 数据迁移，Reindex 迁移亿级数据；Linux 角色添加到 root；kibana 对外访问设置
ElasticSearch数据的同步方案
yangyanping20108的博客
07-19 2216
考虑到订单系统ES服务的业务特殊性，对于订单数据的实时性较高，显然监听Binlog的方式相当于异步同步，有可能会产生较大的延时性。ES集群的分页查询支持from和size参数，查询的时候，每个分片必须构造一个长度为from+size的优先队列，然后回传到网关节点，网关节点再对这些优先队列进行排序找到正确的size个文档。对于ES写入机制的有了解的同学可能会知道，新增的文档会被收集到Indexing Buffer，然后写入到文件系统缓存中，到了文件系统缓存中就可以像其他的文件一样被索引到。
elasticsearch 6.x集群配置修改，集群重启策略之多节点分片转移
zhaojiweiwin的博客
04-26 854
问题描述：修改elasticsearch.yml、jvm.options配置 节点描述：9台机器 1-6 data节点 ，7-9 master节点 处理工具：cerebro https://github.com/lmenezes/cerebro/releases/download/v0.8.1/cerebro-0.8.1.tgz 准备工作：事先把修改好elasticsearch.yml和jvm....
ElasticSearch集群配置方法与注意事项
evasnowind的专栏
08-04 4833
目标 一台主节点，一台从节点 ES安装与配置 注意，集群配置完成前建议不要启动单个ES实例。 原因：默认参数启动会以单实例方式启动，创建各种文件夹、文件，可能干扰后续集群配置。 配置集群 修改配置文件 cluster.name: tipdm-es #es集群名称 node.name: es-node1 #es节点名称，每个节点的名称不能相同 node.master: true...
ElasticSearch 数据迁移工具elasticdump
热门推荐
07-14 4万+
elasticdump是ElasticSearch提供的一个工具，我们主要可以用来完成数据备份数据迁移这一节我们主要介绍了elasticdump的安装和使用。
ElasticSearch集群脑裂解决方案：分离主节点与数据节点
"ElasticSearch集群脑裂.pdf" 在ElasticSearch中，集群脑裂（split-brain）是一个严重的问题，它发生在网络故障或节点失效导致集群分裂成两个或多个独立的部分，每个部分都认为自己是唯一的有效集群。这种现象可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值