什么是Elasticsearch 集群?

Elasticsearch 集群

Elasticsearch 集群由一个或多个节点(Node)组成,集群中存在主节点(Master)和数据节点(data node)之分。

主节点(Master node) :负责管理集群范围内的所有变更,例如增加、删除索引,或者增加、删除节点等,而主节点并不需要涉及到文档级别的变更和搜索等操作,所以当集群只拥有一个主节点的情况下,即使流量的增加它也不会成为瓶颈

数据节点(data node) :负责保存数据、执行数据相关操作:CRUD、搜索、聚合等。数据节点对CPU、内存、I/O要求较高。一般情况下,数据读写流程只和数据节点交互,不会和主节点打交道

协调节点(Coordinating node) :协调节点的工作就是接收客户端请求,并且将收集数据所在分片的数据到自己这里,整合后返回给客户端。ElasticSearch集群中每个节点都可以作为协调节点(master、data都可以作为协调节点)

选主过程:

集群启动的第一件事是选择主节点,选主之后的流程由主节点触发。ES的选主算法是基于Bully算法的改进,主要思路是对节点ID排序,取ID值最大的节点作为Master,每个节点都运行这个流程。在实现上被分解为两步:先确定唯一的、大家公认的主节点,再想办法把最新的机器元数据复制到选举出的主节点上。基于节点ID排序的简单选举算法有三个附加约定条件:

  1. 参选人数需要过半,达到quorum(多数)。
  2. 得票数需过半。
  3. 当探测到节点离开事件时,必须判断当前节点数是否过半。如果达不到quorum,则放弃Master身份,重新加入集群。如果不这么做,则可能产生双主,俗称脑裂。

集群并不知道自己共有多少个节点,quorum值从配置中读取,我们需要设置配置项:discovery.zen.minimum_master_nodes = master节点数/2 + 1。

Elasticsearch 如何实现分布式的呢?

都说Elasticsearch天然支持分布式,那如何做的呢?

ElasticSearch的索引上的数据是分散存储在分片上的,分片的数据组合起来才是完整的数据,一个节点上可以存在多个分片,一个分片就是一个Lucene实例,也就是说一个ElasticSearch节点上可能会运行很多的Lucene实例。通过分片的概念,数据和节点的绑定关系就被解耦了,因此ElasticSearch天然就是分布式的。扩容缩容只需要对分片进行迁移就可以了

ElasticSearch中的分片分为两种,一种是主分片(Primary Shard),另外一种是副本分片(Replica Shard) 主分片负责数据的写入操作,之后将变更同步给其他的副本分片。主分片和副本分片都可以处理数据检索请求。分片一方面提供了扩展ElasticSearch数据存储能力(可扩展性)、负载均衡的作用,还起到了数据备份的作用,当主分片所在节点出现问题时,可以使用副本分片进行主分片的替换,让整个集群继续正常提供服务,这也是Elasticsearch 高可用的原因。

要使用ElasticsearchJava API连接Elasticsearch集群,需要添加以下三个依赖:org.elasticsearch.client.elasticsearch-rest-high-level-client、org.elasticsearch.client:elasticsearch-rest-client、org.elasticsearch:elasticsearch。这些依赖可以通过Maven或Gradle添加到项目中。接下来,可以使用ElasticsearchJava API编写代码来连接Elasticsearch集群。具体步骤如下: 1. 创建RestHighLevelClient对象,该对象是与Elasticsearch集群进行通信的要入口点。 2. 创建IndexRequest对象,该对象表示要索引的文档。 3. 使用IndexRequest对象设置索引名称、文档类型和文档ID等信息。 4. 使用IndexRequest对象设置要索引的文档内容。 5. 使用RestHighLevelClient对象执行IndexRequest对象,将文档索引到Elasticsearch集群中。 下面是一个示例代码,用于将文档索引到Elasticsearch集群中: ```java import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.action.index.IndexResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.xcontent.XContentType; import org.elasticsearch.index.IndexNotFoundException; import org.elasticsearch.rest.RestStatus; import java.io.IOException; public class ElasticsearchExample { private RestHighLevelClient client; public ElasticsearchExample(RestHighLevelClient client) { this.client = client; } public void indexDocument(String index, String type, String id, String json) throws IOException { IndexRequest request = new IndexRequest(index, type, id); request.source(json, XContentType.JSON); IndexResponse response = client.index(request, RequestOptions.DEFAULT); if (response.status() == RestStatus.CREATED) { System.out.println("Document indexed successfully"); } else { System.out.println("Failed to index document"); } } public static void main(String[] args) throws IOException { RestHighLevelClient client = new RestHighLevelClient(/* Elasticsearch连接配置 */); ElasticsearchExample example = new ElasticsearchExample(client); example.indexDocument("my_index", "my_type", "1", "{\"name\":\"John Doe\",\"age\":25}"); client.close(); } }
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云哲-吉吉2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值