分布式搜索2-Elasticsearch如何实现分布式(吐血整理)

(1)大概说:索引是ES中存储数据的基本单位,ES中用索引存储数据,索引是拆分成多个shard分片进行分布式存储的,存储在多个机器上
(2)详细说:分片
Elasticsearch 也是会对数据进行切分,同时每一个分片会保存多个副本,其原因是为了保证分布式环境下的高可用,同时也扩大了存储空间。es也是master-slave架构,在 es 中,节点是对等的,节点间会通过自己的一些规则选取集群的 Master,Master 会负责集群状态信息的改变,并同步给其他节点。值得注意的是,只有建立索引和类型需要经过 Master,数据的写入有一个简单的 Routing 规则,可以 Route 到集群中的任意节点,所以数据写入压力是分散在整个集群的。
具体就是你先建立一个索引,这个索引可以拆分成多个分片(shard),每个分片(shard)存储部分数据。每个分片(shard) 有一个主分片(primary shard),负责写入数据,还有几个复制分片(replica shard)。ES客户端在主分片(primary shard)写入数据之后,会将数据同步到其他几个复制分片(replica shard)上去。ES客户端取数据的时候就会在主分片或者复制分片中去读。(类似Kafka)
通过这个复制replica 方案实现高可用:每个分片(shard)的数据有多个备份,如果某个机器宕机了,没关系,还有别的数据副本在别的机器上。
在这里插入图片描述
1-ES 集群多个节点,会自动选举一个节点为 master 节点,这个 master 节点其实就是干一些管理的工作的,比如维护索引元数据、负责切换 主分片(primary shard) 和 复制分片(replica shard)身份等。要是 master 节点宕机了,那么会重新选举一个节点为 master 节点。
2-如果某个非 master 节点宕机了,那么此节点上的 primary shard 就没了,那么master 会让 primary shard 对应的 replica shard(注在其他机器上的replica)切换为 primary shard。如果宕机的机器修复了,能让集群恢复正常,但修复后的节点也不再是 primary shard,而是 replica shard。(上述就是 ElasticSearch 作为一个分布式搜索引擎最基本的架构设计)
(3)分布式搜索:
一个集群有多个节点(服务器)组成,多个节点参与搜索功能。协调节点将搜索的请求转发给所有分片shard对应的primary shard 或replica shard,每一个分片shard 将自己搜索的结果(其实也就是一些唯一标识),返回给协调节点,有协调节点进行数据的合并,排序,分页等操作,产出最后的结果。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值