ElasticSearch 05 -- 集群

已于 2022-07-02 14:48:07 修改
阅读量255 收藏 1
点赞数
文章标签： 大数据 elasticsearch 搜索引擎
于 2022-07-02 11:00:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengxianaa/article/details/125570302
版权

上一篇:ElasticSearch 04 -- 进阶_fengxianaa的博客-CSDN博客

1. 相关概念

  • 节点：一个个 ES 实例
  • 集群：一组节点的 cluster name 一样
  • 分片：集群下，一个索引可以拆成多个分片，存储到不同的节点上，有点儿类似数据库的分表

  • 主、副分片：分片有主、副之分，每个主分片可以有多个副分片，副分片存储的数据跟主分片一样
    • 下图中主分片和副分片不再一台机器上，避免一个节点宕机数据丢失

2. 搭建

准备3个虚拟机，虚拟机复制参考：虚拟机02--Virtual Box 虚拟机复制_fengxianaa的博客-CSDN博客

我的三台机器，分别是：192.168.56.107、192.168.56.108、192.168.56.109

修改 107 上的 elasticsearch.yml

# 集群名称，3个节点的cluster.name一样，表示这3个节点是一个集群
cluster.name: my-es
# 节点名称，唯一
node.name: node-1
# 是否有资格成为主节点，true：有资格竞争主节点的位置
node.master: true
#是否存储数据
node.data: true
# 限制单个机器上可以开启的ES存储实例的个数,如果在一台机器上搭建集群可以用这个配置
node.max_local_storage_nodes: 3
# 暴露一个IP,供外网访问
network.host: 192.168.56.107
# http访问的端口号
http.port: 9200
# 节点之间沟通端口,默认9300
transport.tcp.port: 9700
#es7.x  之后新增的配置，用于节点发现
discovery.seed_hosts: ["192.168.56.107:9700","192.168.56.108:9700","192.168.56.109:9700"]
#es7.x  之后新增的配置，初始化一个新的集群时,根据这个配置选举master
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
  1. 修改 108 上的 elasticsearch.yml
# 集群名称，3个节点的cluster.name一样，表示这3个节点是一个集群
cluster.name: my-es
# 节点名称，唯一
node.name: node-2
# 是否有资格成为主节点，true：有资格竞争主节点的位置
node.master: true
#是否存储数据
node.data: true
# 限制单个机器上可以开启的ES存储实例的个数,如果在一台机器上搭建集群可以用这个配置
node.max_local_storage_nodes: 3
# 暴露一个IP,供外网访问
network.host: 192.168.56.108
# http访问的端口号
http.port: 9200
# 节点之间沟通端口,默认9300
transport.tcp.port: 9700
#es7.x  之后新增的配置，用于节点发现
discovery.seed_hosts: ["192.168.56.107:9700","192.168.56.108:9700","192.168.56.109:9700"]
#es7.x  之后新增的配置，初始化一个新的集群时,根据这个配置选举master
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
  1. 修改 109 上的 elasticsearch.yml
# 集群名称，3个节点的cluster.name一样，表示这3个节点是一个集群
cluster.name: my-es
# 节点名称，唯一
node.name: node-3
# 是否有资格成为主节点，true：有资格竞争主节点的位置
node.master: true
#是否存储数据
node.data: true
# 限制单个机器上可以开启的ES存储实例的个数,如果在一台机器上搭建集群可以用这个配置
node.max_local_storage_nodes: 3
# 暴露一个IP,供外网访问
network.host: 192.168.56.109
# http访问的端口号
http.port: 9200
# 节点之间沟通端口,默认9300
transport.tcp.port: 9700
#es7.x  之后新增的配置，用于节点发现
discovery.seed_hosts: ["192.168.56.107:9700","192.168.56.108:9700","192.168.56.109:9700"]
#es7.x  之后新增的配置，初始化一个新的集群时,根据这个配置选举master
cluster.initial_master_nodes: ["node-1","node-2","node-3"]

分别启动这 3 个 ES，启动前先删除 /home/soft/elasticsearch-7.8.0/data 下的数据

107:

108：

109：

查看集群状态：http://192.168.56.107:9200/_cat/health?v

解释：

cluster: 集群名称
status: 集群状态，
          green:	健康
          yellow:	缺失副分片
          red:		缺失主分片
node.total: 在线的节点数量	
node.data: 在线的数据节点数量，elasticsearch.yml中 node.data=true 的是数据节点
shards: 总分片数量
pri: 主分片数量
relo: 迁移的分片数量，正常为 0
init: 初始化的分片数量，正常为 0
unassign: 未分配的分片，正常为 0
pending_tasks: 准备中的任务，比如：迁移分片等，正常为 0
max_task_wait_time: 任务最长等待时间
active_shards_percent:正常分片的百分比，一般应该是 100%

3. kibana 管理集群

修改 Kibana 的配置文件：kibana.yml

然后启动 kibana

浏览器访问：http://192.168.56.107:5601/

4. Java API

java API 访问集群，只是在创建 client 的地方做修改，比如：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
                new HttpHost("192.168.56.107",9200,"http"),
                new HttpHost("192.168.56.108",9200,"http"),
                new HttpHost("192.168.56.109",9200,"http")));

5. 分片配置

集群下，创建所索引时，默认会自动设置一个主分片和一个副分片，并且不再同一个节点上

1. 创建索引时指定分片

在创建索引的时候可以通过 settings 设置分片

在 Kibana 中执行下面命令

# 1. 删除索引
DELETE fengxiansheng

# 2. 创建索引时，指定分片数量
PUT fengxiansheng
{
  "mappings": {
    "properties": {
      "name":{
        "type": "text"
      }
    }
  },
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}
# "number_of_shards": 3, 表示有3个主分片
# "number_of_replicas": 1, 表示每个主分片有1个副分片

Kibana 上查看：

ES的自动分片方式保证了，任何一个节点宕机，都不影响数据的完整性

2. 分片自动平衡

如果 node-3 宕机，那么它上面的分片会自动转移到 node-1、node-2 上

等一会儿刷新页面

重启 node-3 后，就重新分配两个分片

3. 总结

  • 创建所索引时，默认会自动设置一个主分片和一个副分片，并且不再同一个节点上
  • 可以通过 settings 设置分片数量
  • 分片自动平衡
    • 节点宕机后，挂掉的节点会自动分配到其他节点上
  • 分片数量一旦确定，不能修改
  • 推荐分片方案：
    • 每个分片 10-30G
    • 分片数量 = 节点数的 1-3 倍

6. 分片路由

存储数据时，ES会经过一定的计算，得到分片编号，然后把数据放到指定的分片上

计算规则：分片编号 = 文档id的hash % 主分片数量

假如：一个文档 id 的哈希值是 15，主分片数量是 3，那么这个文档就会存储到 0 号分片上

所以 ES 规定一档分片数量确定，不能修改，否则一旦修改，有些数据就查不到了

7. 脑裂

正常情况下集群中只会有一个Master，脑裂是指：集群中出现多个Master

原因：Master 短暂的不可用或者连不上

  • 网络原因：
    • Master所在机器突然脱离了正常的网络，跟其他机器不能连接，但是实际上还运行着，此时其他节点得不到主节点的响应认为主节点挂掉了，会重新选取 Master，但过了一会儿，原来的Master网络通信又恢复正常
  • 节点负载：
    • Master 收到大量请求，处理不过来，导致暂时停止响应
    • 一般这种情况因为：Master 存储数据(node.data=true)，在处理客户端请求的同时，又管理集群
  • JVM内存回收
    • Master 内存设置的比较小，JVM大规模回收内存，导致暂时停止响应

解决：

  • discovery.zen.ping_timeout ：节点响应时间，默认3秒，可以调大一些，防止网络原因导致的脑裂
  • 角色分离：Master 不存储数据(node.data=false)，同样的数据节点：node.master=false，不参与Master的选举
  • JVM内存调整：如果资源充足，可以修改jvm.properties，最好修改为系统内存的50%

8. 集群扩容

新增复制一个虚拟机 192.168.56.110，修改 elasticsearch.yml

# 集群名称，3个节点的cluster.name一样，表示这3个节点是一个集群
cluster.name: my-es
# 节点名称，唯一
node.name: node-4
# 是否有资格成为主节点，true：有资格竞争主节点的位置
node.master: true
#是否存储数据
node.data: true
# 限制单个机器上可以开启的ES存储实例的个数
node.max_local_storage_nodes: 3
# 暴露一个IP,供外网访问
network.host: 192.168.56.110
# http访问的端口号
http.port: 9200
# 节点之间沟通端口,默认9300
transport.tcp.port: 9700
# 加上110的ip和端口
discovery.seed_hosts: ["192.168.56.107:9700","192.168.56.108:9700","192.168.56.109:9700","192.168.56.110:9700"]
#es7.x  之后新增的配置，初始化一个新的集群时,根据这个配置选举master
cluster.initial_master_nodes: ["node-1","node-2","node-3","node-4"]

启动ES，启动前先删除 /home/soft/elasticsearch-7.8.0/data 下的数据

结果：

Kibana 上查看

fengxianaa
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch搜索引擎第八篇-集群和路由详解
supermao1013的专栏
11-17 736
文章目录集群启动原理ES集群说明集群启动集群分片原理分片分片分配节点故障集群索引原理创建索引流程文档索引流程文档路由原理搜索流程 集群启动原理 ES集群说明 ES集群中所有节点具有相同的 cluster.name，它们共同承担数据和负载的压力。 主节点Master只负责管理集群范围内的所有变更，如增加/删除索引、增加/删除节点等，即集群的元信息，不涉及文档级别的搜索、新增、修改等操作。 请求可以发...
logstash从mysql向es同步数据报错：retrying failed action with response code: 403 ({“type“=＞“cluster_block_exce
java_xxxx的博客
01-12 1386
logstash从mysql向es同步数据报错： retrying failed action with response code: 403 ({"type"=>"cluster_block_exce logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORB
ElasticSearch docker-compose集群部署
gmHappy
12-17 1071
一、前言 Docker Compose是 docker 提供的一个命令行工具，用来定义和运行由多个容器组成的应用。使用 compose，我们可以通过 YAML 文件声明式的定义应用程序的各个服务，并由单个命令完成应用的创建和启动。 二、docker-compose安装 2.1 pip方式安装 pip install docker-compose 2.2 查看版本 docker-compose version 三、集群架构 3.1 结构图及解释 Master节点作为Master节点与协调节点，为防
Elasticsearch--01.ES8.1.0集群搭建
一叶知秋
10-11 2598
/opt/module/elasticsearch-8.1.0/elasticsearch-ssl-http.zip] (是否自定义名称、直接回车)Password for elastic-stack-ca.p12: (输入CA证书密码、上面生成CA证书未设置密码、直接回车)Generate a certificate per node: [y/n] n(是否每个节点都 生成证书)[y/n]y (是否使用已存在的CA证书)Is this correct [y/n] n(输入的主机名称是否正确)
Linux搭建elasticsearch-7.8.0集群
热门推荐
一恍过去
08-03 1万+
Linux搭建elasticsearch-7.8.0集群
ElasticSearch实战--集群管理--向集群中添加新节点
CatcherTheRye的专栏
11-12 1783
向elastic search集群中添加节点
ElasticSearch进阶-集群脑裂问题
m0_60162373的博客
04-07 4216
1.集群脑裂是什么？ 所谓脑裂问题，就是同一个集群中的不同节点，对于集群的状态有了不一样的理解，比如集群中存在两个master，正常情况下我们集群中只能有一个master节点。 2.集群脑裂场景举例 如果因为网络的故障，导致一个集群被划分成了两片，每片都有多个node，以及一个master，那么集群中就出现了两个master了。但是因为master是集群中非常重要的一个角色，主宰了集群状态的维护，以及shard的分配，因此如果有两个master，可能会导致数据异常。 如： 节点...
Elasticsearch实战-ES集群-集群职责及脑裂
Blueeyedboy521的博客
05-05 1155
集群中节点角色 分布式查询 elasticsearch中的每个节点角色都有自己不同的职责，因此建议集群部署时，每个节点都有独立的角色 脑裂 总结 master eligible节点的作用 参与集群选主 主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求 data节点的作用 数据的CRUD coordinator（协调）节点的作用 路由请求到其他节点 合并请求到结果，返回给用户 ...
ElasticSearch -- ES 7.x 集群版安装部署
TheBigBlue的博客
07-13 2821
ES
Centos7 elasticsearch-7.7.0 集群搭建
penganchunyan的博客
06-17 805
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。Elasticsearch7.7.0需要jdk11的允许环境，所有我们安装Jdk11 配置jdk环境变量 2.开端口 3.创建新用户，用户启动Elasticsearch 安装 Elasticsearch7.7.0 https://www.elastic.co/cn/downloads/pas
elasticsearch-analysis-ik-7.10.0.zip下载
05-08
1. httpclient-4.5.2.jar：这是Apache HttpClient库的一个版本，用于实现HTTP协议，Elasticsearch可能依赖它来进行网络通信，如集群间的通信或远程API调用。 2. httpcore-4.4.4.jar：Apache HttpCore是HttpClient的...
elasticsearch-analysis-dynamic-synonym-7.12.1.zip
08-13
4. **httpclient-4.5.13.jar** 和 **httpcore-4.4.13.jar**：这两个是Apache HTTP客户端库，用于处理HTTP请求和响应，可能是插件与Elasticsearch集群通信的方式之一。 5. **analysis-common-7.10.2.jar**：这是...
elasticsearch-analysis-ik-7.6.1.zip
03-19
Elasticsearch（ES）是一个基于Lucene的分布式、RESTful搜索引擎，广泛应用于大数据分析、日志收集和全文检索等领域。它的核心功能包括索引、搜索、分析和聚合，但默认情况下对中文的支持并不完善，因此需要借助像IK...
day05-Elasticsearch01day05-Elasticsearch01
10-25
在“day05-Elasticsearch01day05-Elasticsearch01”这个主题中，我们可以深入探讨Elasticsearch的基础概念、核心特性以及常见应用场景。 一、Elasticsearch基础 1. 数据模型：Elasticsearch基于Lucene构建，使用倒...
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
m0_72599287的博客
08-24 1850
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
大数据技术
最新发布
weixin_51591328的博客
08-28 74
知识点 其他
clickhouse 原理详解
chuige2013的博客
08-25 583
中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。
（十六）Flink 状态管理
springk的专栏
08-24 577
根据数据集是否按照 Key 划分，将状态分为 Keyed State 和 Operator State（Non-keyed State）两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面，结合实际案例，详细进行介绍。
SparkSQL DML语句详解
SunnyRivers
08-27 384
数据操作语句用于添加、更改或删除数据。LOAD。
elasticsearch docker-compose集群
07-27
要使用Docker-compose搭建Elasticsearch集群，你可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Docker和Docker-compose。 2. 创建一个名为docker-compose.yml的文件，并在其中定义Elasticsearch集群的配置。你可以使用以下示例作为参考： ``` version: '3' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.2 container_name: es01 environment: - node.name=es01 - cluster.name=my-cluster - discovery.seed_hosts=es02,es03 - cluster.initial_master_nodes=es01,es02,es03 ports: - 9200:9200 volumes: - esdata01:/usr/share/elasticsearch/data es02: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.2 container_name: es02 environment: - node.name=es02 - cluster.name=my-cluster - discovery.seed_hosts=es01,es03 - cluster.initial_master_nodes=es01,es02,es03 volumes: - esdata02:/usr/share/elasticsearch/data es03: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.2 container_name: es03 environment: - node.name=es03 - cluster.name=my-cluster - discovery.seed_hosts=es01,es02 - cluster.initial_master_nodes=es01,es02,es03 volumes: - esdata03:/usr/share/elasticsearch/data volumes: esdata01: esdata02: esdata03: ``` 3. 在终端中，进入包含docker-compose.yml文件的目录，并运行以下命令启动Elasticsearch集群： ``` docker-compose up -d ``` 这将会启动一个包含三个Elasticsearch节点的集群。 4. 使用以下命令验证集群是否成功启动： ``` docker ps ``` 你应该能够看到三个运行中的Elasticsearch容器，每个容器对应一个节点。 现在，你已经成功使用Docker-compose搭建了一个Elasticsearch集群。你可以通过访问http://localhost:9200来访问集群的Elasticsearch节点。 #### 引用[.reference_title] - *1* *3* [Elasticsearch (一) 基于Docker-compose 搭建集群](https://blog.csdn.net/m0_67390963/article/details/124240861)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [【Docker-compose Elasticsearch搭建集群】](https://blog.csdn.net/qq_39127761/article/details/126221224)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值