ElasticSearch 同城容灾调研

最新推荐文章于 2024-06-19 15:16:20 发布
最新推荐文章于 2024-06-19 15:16:20 发布
阅读量2.7k 收藏 2
点赞数
分类专栏： 微服务 文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Coolyqq/article/details/123400532
版权

基础知识：

服务节点角色：master node，data node，client node

主节点负责集群状态管理，创建或者删除索引，分配分片等操作，选主需满足quorum原则

数据节点负责存储数据

客户端节点负责处理路由请求，处理搜索，分发索引操作

数据存储结构：

索引：文档存储集合

分片：一个索引由一个或者多个分片组成，分片分布在集群各处，扩展了索引存储能力和读写性能，分片分为主分片和副本分片，同一分片的主副分片不能在一个节点

       分片数量不可更改，单个分片的文档数量21亿

       海量分片不可行，每个节点会分配到过多分片，抢占资源效率低下

副本：为主分片的拷贝，分布在集群中，可以提供搜索操作，可以在主分片所在集群故障时成为主分片，提供读写操作，有效防止数据丢失

别名：可以给索引配置别名，读取别名可以多个索引共用一个，写入别名则只可以一对一设置

reindex：重新索引，可以修改字段类型，也可用于同步

集群健康状态：

green  所有的主分片和副本分片都正常运行

yellow 所有的主分片都正常运行，但不是所有的副本分片都正常运行

red  有主分片没能正常运行

同城跨机房部署集群

一、双节点，主节点数据节点统一

机房A

机房B

内网域名

主节点/数据节点

主节点/数据节点

主分片a

副本分片a

数据同步

 

单个机房挂掉之后，集群仍然可用，但是专线断连会出现脑裂问题

二、三个机房，主节点数据节点分离

机房A

机房B

内网域名

数据节点

数据节点

主分片a

副本分片a

数据同步

主节点

主节点

机房C

主节点

 

可以解决脑裂问题，但是需要多一个机房部署主节点

三、双机房，三个主节点

机房A

机房B

内网域名

数据节点

数据节点

主分片a

副本分片a

数据同步

主节点

主节点

主节点

 

机房A挂掉时，机房B集群可以正常提供服务

机房B挂掉时A因为无法选主，需要人工接入重建节点才可提供服务

双集群双写

在客户端连接两个机房的es集群，写入时同时写入两个集群，查询时就近访问搜索索引数据

对客户端要求较高，需要重做写入逻辑，改造成本过高

也可以通过写入成功后发送消息的方式，进行异步双写，需要实现消费服务，而且可能出现数据一致性问题

 

双集群同步

一、双活CCR跨集群复制 

ES cluster1

ES cluster2

CCR

CCR

机房1

机房2

index-a

index-a-2-follwer

index-a

index-a-1-follwer

APP

save to index-a

APP

save to index-a

query from index-a*

query from index-a*

CCR为ES的白金授权所具有的功能，可以进行集群数据同步，实时性比较好，可以支持数据修改的同步

同步索引的跟随者为只读，可以在主集群故障时脱离跟随着身份，转为可读写

说明：

  1. 两个机房各部署ES集群，设置CCR同步，可以指定索引或者指定索引模式进行同步，同步后的索引可以加入前缀后缀，进行标识
  2. 应用只需要连接当前机房的ES集群，进行数据写入or更新，查询搜索时通过索引的匹配进行多索引查询

二、logstash\reindex

该方法与CCR结构类似

logstash基于索引遍历实现，比较适合日志类数据（不做修改），因为该方式无法实现数据更新的同步，而且有一定延迟，会出现数据落后情况

reindex 基于es reindex接口，可以实现集群到集群的数据同步，不过该方法只会在目标索引创建文档，所以对于数据的修改无法同步

三、双活with snapshot/restore

支持增量备份

ES cluster1

ES cluster2

机房1

机房2

index-a

index-a

APP

save to index-a

APP

save to index-a

query from cluster1 and cluster2

query from cluster2 and cluster1

ES cluster1 snapshot

ES cluster2
snapshot

 

说明：

  • 两个机房各部署一个es集群，通过es的snapshot功能备份数据到另外一个机房，用于灾难恢复
  • 各个机房的app只访问本机房实例，写入到本机房es集群，搜索时利用es的remote cluster进行集合搜索，可以搜索两个集群的数据，由当前机房集群进行聚合
  • 单个机房发生故障时，在正常机房利用备份恢复es集群，配置remote cluster，可以继续提供服务
  • 根据索引的segment file是否有变化判断是否需要进行备份，支持增量备份，

负面：

  • 应用端需要对搜索代码进行修改，使用跨集群搜索
  • snapshot备份不适合频繁备份，所以实时性不够好，备份会有一段时间的数据落后
  • segment file的合并操作会导致重新备份，数据传输量可能会很大

Coolyqq
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】技术专栏 | 利用HDFS备份实现Elasticsearch容灾
九师兄
06-02 273
1.概述 转载：https://mp.weixin.qq.com/s/kik4K72L-7urhFqeh82Ucw
Elasticsearch 多种跨机房灾备方案对比与实战解读
CCqwas的博客
03-18 1659
1 引言 Elasticsearch 集群的高可用，保证服务的连续性是企业最关注的需求。通常当企业达到一定规模时，不管是在云上还是线下都会有多个机房做异地灾备，确保在某个机房不可用时，还能持续对外提供业务。本文将会介绍几种 Elasticsearch 常见的灾备方案，同时提供了 Demo 案例方便大家动手体验。 2 方案概要 方案 定期快照 跨机房部署集群 应用双写 借助消息队列实现双写 CCR 跨集群复制 极限网关 描述 定期将索引备份到外部存储，例如
elasticsearch系列九：异地容灾-CCR跨集群复制
lvjingang的博客
06-19 128
异地容灾-CCR跨集群复制
elasticsearch集群扩容和容灾
weixin_30508309的博客
09-25 702
elasticsearch专栏：https://www.cnblogs.com/hello-shf/category/1550315.html 一、集群健康 Elasticsearch 的集群监控信息中包含了许多的统计数据，其中最为重要的一项就是集群健康，它在 status 字段中展示为 green 、 yellow 或者 red。 在kibana中执行：GET /_cat/hea...
Elastic Job 同城主备、同城双活，高可用必备
Tom_sensen的博客
09-01 833
在使用Elastic Job Lite做定时任务的时候，我发现很多开发的团队都是直接部署单点，这对于一些离线的非核心业务（如对账、监控等）或许无关紧要，但对于一些高可用补偿、核心数据定时修改（如金融场景的利息更新等），单点部署则“非常危险”。实际上，Elastic Job Lite是支持高可用的。 网上关于Elastic Job的较高级的博文甚少，本文试图结合自身实践的一些经验，大致讲解其方案原理，并延伸至同城双机房的架构实践。 单点部署到高可用 如本文开头所说，很多系统的部署是采取以下部署架构：
es双活方案
wssmao250的博客
07-30 2469
参考：http://www.yunxiaobai.net/archives/489 另外：ES7.1.1中支持了ＣＣＲ跨集群复制，但是该功能属于ｘｐａｃｋ中，非免费使用。
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
ElasticSearch数据迁移与容灾实践.docx
08-17
ElasticSearch 数据迁移与容灾实践 ElasticSearch（ES）是一款基于 Lucene 打造的分布式搜索引擎，广泛应用于搜索、日志、APM、IOT 等领域。为满足不同数据源与 ES 之间的数据导入导出需求，ES 提供了多种异构数据...
elasticsearch-8.2.3 windows 版本
06-21
elasticsearch-8.2.3 windows 版本。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的...
ES查询客户端，elasticsearch可视化工具
最新发布
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
Elasticsearch 架构图
05-20
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。 架构图方便理解Elasticsearch
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
同城双活和异地多活架构
insisxz的博客
08-24 537
活” 指的是可以提供服务，与之对应的是 “备” ，备份是冷数据，不能对外提供服务，仅仅是会同步数据，当活的机器都不可提供服务时，需要启动备份服务来先提供服务，备份的缺点是，启动备份后需要验证后才能使用，有延时性，不能保证服务每时每刻都可用；同城双活，指的是同一个城市内，部署两个机房，如果一个机房不可用，另一个机房都能够单独对外提供完整的服务；两地三中心，指的是同城双活的基础上，增加一个冷备份的机房，当双活都不可用时，启动备份机房提供服务；首先这些架构，都是为了保证服务的高可用；那么怎么实现路由呢？
如何快速实现跨机房 Elastic Search 数据同步
easylife206的专栏
12-26 851
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！背景众所周知单个机房在出现不可抗拒的问题（如断电、断网等因素）时，会导致无法正常提供服务，会对业务造成潜在的损失。所以在协同办公领域，一种可以基于同城或异地多活机制的高可用设计，在保障数据一致性的同时，能够最大程度降低由于机房的仅单点可用所导致的潜在高可用问题，最大程度上保障业务的用户体验，降低单点问题对业务造成的潜...
es 开启集群_ES双集群解决方案及数据最终一致性的实现方法与流程
weixin_39625975的博客
12-20 1179
本发明涉及数据处理技术领域，尤其涉及一种es双集群解决方案及数据最终一致性的实现方法。背景技术：elasticsearch是一个基于lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于restfulweb接口。elasticsearch是用java开发的，并作为apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快...
让Elasticsearch集群冷热分离、读写分离
热门推荐
很多时候，你缺少的不是知识而是热情
01-13 2万+
根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理的。一、冷热分离 按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去 hot集群只保留最近一天或两天数据 写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings { "index.routing
ElasticSearch - 快速搭建属于我们的ES
了无牵挂者忘生，心有所爱者忘死
08-13 608
文章目录ElasticSearch - 快速搭建属于我们的ES1.ElasticSearch下载2.ElasticSearch安装3.ElasticSearch配置远程访问4.目录结构功能介绍 ElasticSearch - 快速搭建属于我们的ES 1.ElasticSearch下载  前面我们介绍了ES是一个怎么样的东西，这里我们直接就开始上手搭建感受一下。    这里我们直接来到官网【开源搜索与分析 · Elasticsearch | Elastic】。    我们选择开始使用ElasticSear
第十篇 elasticsearch的写一致性原理以及quorum机制深入剖析
R_P_J的博客
10-30 2014
1. consistency参数：one（primary shard），all（all shard），quorum（default）我们在发送任何一个增删改操作时比如put /index/type/id，都可以带上一个consistency参数，指明我们想要的写一致性是什么：put /index/type/id?consistency=quorum one：要求我们这个写操作，只要有一个primar
Elasticsearch技术调研
01-09
根据提供的引用内容，以下是关于Elasticsearch技术调研的介绍： Elasticsearch是一个开源的分布式搜索和分析引擎，它构建在Apache Lucene库之上。它提供了一个分布式多租户的全文搜索引擎，可以实时地存储、检索和分析大规模数据。Elasticsearch具有高可用性、可扩展性和强大的搜索功能，适用于各种应用场景，包括日志分析、实时数据分析、全文搜索等。 在进行Elasticsearch技术调研时，可以关注以下几个方面： 1. 数据存储和索引：Elasticsearch使用倒排索引来加速搜索和过滤操作。它将数据存储在分片中，并使用主分片和副本分片来提供高可用性和容错性。 2. 分布式架构：Elasticsearch采用分布式架构，可以水平扩展以处理大规模数据。它使用分片和副本来实现数据的分布和冗余存储，提供高可用性和负载均衡。 3. 查询和搜索：Elasticsearch提供了丰富的查询语法和搜索功能，包括全文搜索、过滤、聚合等。它支持复杂的查询操作，并提供了相关性评分和高亮显示等功能。 4. 实时数据分析：Elasticsearch支持实时数据分析，可以对大规模数据进行聚合、统计和可视化。它提供了强大的聚合功能，可以对数据进行分组、求和、平均等操作。 5. 可视化和监控：Elasticsearch提供了Kibana工具，用于可视化和监控数据。Kibana可以连接到Elasticsearch集群，提供实时的数据可视化和仪表盘。 6. 安全性和权限控制：Elasticsearch提供了安全性和权限控制功能，可以对数据进行访问控制和身份验证。它支持基于角色的访问控制和SSL/TLS加密。 7. 故障恢复和容错性：Elasticsearch具有故障恢复和容错性，可以自动处理节点故障和数据丢失。它使用分片和副本来实现数据的冗余存储和自动恢复。 8. 扩展性和集成：Elasticsearch具有良好的扩展性和集成性，可以与其他工具和系统进行集成。它提供了丰富的API和插件机制，可以扩展其功能和集成其他系统。 以上是关于Elasticsearch技术调研的介绍，希望对您有帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值