1.3 可扩展的和有弹性的:集群,节点和分片

翻译地址:Scalability and resilience: clusters, nodes, and shards | Elasticsearch Guide [8.1] | Elastic

ES被构建的总是可用的,并且可以伴随着你的需要去进行扩展。它做这个是通过天生的分布式特性。对于一个集群你可以添加服务器(节点)去增加容量,以及ES会自动的分布你的数据到所有的节点上和查询加载你的数据在你的所有节点上。不需要改造你的应用,ES知道如何平衡多个节点的集群去支持扩展性和高可用。节点越多越好。

这个是如何工作的?在底层,一个ES索引真正的只是一个或者多个物理分片的逻辑组,在这里每一个分片是真正的独立索引。通过分配一个文档在一个索引上遍布在多个分片上,以及分配这些分片遍布在多个节点上,ES可以确保冗余的,这样既可以避免硬件故障也可以随着节点增加到集群中增加查询能力。随着集群增加(或者缩减),ES可以自动的迁移分片去平衡这个集群。

这里有两种类型的分片:主分片和副本。在一个索引中的每一个文档属于一个主分片。一个副本是一个主分片的拷贝。副本支持你的数据的拷贝作为备用去应对硬件故障以及增加查询的能力,像查询或者获取一个文档。

一个索引的主分片在创建的时候就被固定了,不能再修改了,但是这个副本可以随着被改变,不需要停止索引或者查询操作。

它取决于...

对于一个索引的所期望的分片数量和主分片的数量的配置,这里有一个性能的考虑和权衡。越多的分片,会导致在维护这些索引的时候成本会很高。这个分片的大小越大,ES在重新平衡集群的时候花费在移动分片的时间越长。

查询许多小的分片,会使得执行每一个分片会更快,但是更多的查询意味着更大的成本,因此查询少量的大的分片可能会更快。简言之...它依赖于。

作为一个起点:

  • 平均分片大小保持在几个G到几十个G之间为目标。对于基于时间基线的数据的使用场景,通常设置分片的范围在20G到40G。
  • 避免较大量的分片问题。一个节点拥有的分片数量对于可用的堆空间的比例是协调的。作为一个通用规则,堆空间的每个G的分片数量应该小于20。

对于你的使用场景,最好的方式去决定最佳的配置是通过testing with your own data and queries

一旦发生故障灾难

一个集群的所有节点互相之间需要好的,可靠的链接。为了更好的提供链接,你通常让这些节点处在相同的数据中心或者在数据中心附近。然而,为了保持高可用,你也需要避免任何的单点故障。一旦在一个地方出现主要故障,在另外一个地方的服务需要能够可以接收服务。这个答案是什么?是通过跨集群的副本实现(Cross-cluster replication--CCR)。

CCR提供了一种方式去自动的从主集群同步索引到一个副的远程集群,这个可以作为一个热的备份。如果这个主的集群失败了,这个副的集群可以做灾备。你也可以使用CCR去创建一个副集群去服务读请求,在地理位置上接近你的用户。

跨集群副本是被动的。在主集群上的这个索引,是活跃的主索引并且处理所有的写请求。索引复制到副集群中是只读的跟随者。

关心和维护

跟任何企业系统一样,你需要工具去稳固,管理,和监控你的ES集群。安全,监控和管理的特点被集成进了ES,可以让你去使用 Kibana 作为一个控制中心去管理你的集群。像data rollups 和 index lifecycle management 的产品特点帮助你聪明的管理你的数据。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式集群、主从集群分片集群是三种不同的集群架构。它们在数据处理和负载均衡方面有着不同的应用场景和特点。 1. 分布式集群分布式集群是由多台独立的计算机节点组成的系统,这些节点通过网络互相通信和协作,共同完成任务。每个节点都可以独立地处理请求,并且没有中心节点的概念。分布式集群广泛应用于大规模的计算、存储和处理需求,可以提高系统的可靠性、性能和可扩展性。 2. 主从集群: 主从集群是一种架构模式,其中有一个主节点(Master)和多个从节点(Slave)。主节点负责接收和处理客户端的请求,而从节点负责执行主节点分配的任务。主从集群通常用于处理大量的读操作和写操作较少的场景,以提高系统的读取性能和可用性。 3. 分片集群分片集群是将数据分成多个片(Shard),每个片存储在独立的节点上。每个节点只负责一部分数据的读写操作,这样可以将数据负载均衡地分布到不同的节点上。分片集群适用于处理大规模数据和高并发读写的场景,可以提高系统的扩展性和性能。 总结起来,分布式集群适用于大规模计算、存储和处理需求;主从集群适用于读多写少的场景,提高读取性能和可用性;而分片集群适用于处理大规模数据和高并发读写的场景,提高系统的扩展性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值