Elasticsearch个人心得笔记（五）

最新推荐文章于 2024-04-20 07:45:59 发布
最新推荐文章于 2024-04-20 07:45:59 发布
阅读量459 收藏
点赞数 1
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiuY521/article/details/91350702
版权

                                 Elasticsearch集群

目录

                                 Elasticsearch集群

一.集群的结构和角色

1.结构

2.角色和任务(elaticsearch.yml)

二.配置搭建三个节点的集群

1.前提条件注意

2.配置集群的配置文件

1.每个节点指定协调器的list(elasticsearch.yml)

2.修改对应配置

3.防止集群发生"脑裂",为集群配置最大的有效master个数

3.启动集群的所有节点

1.类bully(RBULLY)算法将master选举出来(master参加)

2.先启动Head插件观察

3.启动第一个ES

4.启动成功，一直循环读取

5.启动第二个节点

6.启动成功

7.HEAD插件查看

8.启动第三个节点

9.启动成功

10.head查看

11.在进群中连接负载均衡器写入一些数据(index01,index02)

一.集群的结构和角色

1.结构

2.角色和任务(elaticsearch.yml)

  • node.master: true 主节点相关
  • node.data: true  数据节点相关
  • node.ingest: true 负载均衡节点相关

默认的一个es节点具备master角色,data节点角色,负载均衡器

  • master角色:管理真个集群的meta data(元数据);元数据:描述数据本身的信息形成的内容称之为元数据.多个master形成的集群(保证高可用)同一时间只有一个主节点(具备master角色能力的节点,会进行选举),剩下的主节点进行meta data 的数据备份.
  • data角色:就是负责master计算后交给他的与数据有关的任务(读写操作)
  • 负载均衡器:外界连接的es节点,负责和master内部通信,获取信息;
  • 协调器:任何一个es节点无论你的master,data,ingest的值是true还是false都可以成为一个集群的协调器(发现节点功能)

 

二.配置搭建三个节点的集群

1.前提条件注意

ik分词器(造成其他节点同步数据时,没有ik分词器的错误)保持一致;

如果你将ik分词器删除,保证之前使用ik分词器的所有相关数据(索引)也要删除.

  • [root@10-42-60-249 elasticsearch-5.5.2]# rm -rf data
  • [root@10-42-60-249 elasticsearch-5.5.2]# rm -rf *
  • [root@10-42-60-249 elasticsearch-5.5.2]# rm -rf logs/

2.配置集群的配置文件

  • 保证集群名称一致elasticsearch
  • 保证节点名称不一致es01 es02 es03

1.每个节点指定协调器的list(elasticsearch.yml)

每一个的名称都要不同

2.修改对应配置

3.防止集群发生"脑裂",为集群配置最大的有效master个数

公式: 所有master个数/2+1(过半数) 3个配置俩个即可

修改一下配置

由于网络波动，形成多个大脑指挥，

  • 在master集群中,本来应该互相有效通信的集群,出现波动后,形成2个多个master集群,同时操作dataNode节点们,可能造成执行的命令冲突导致数据错乱---集群的脑裂;
  • ES防止脑裂的出现,就是利用最小master数量过半定义的.
  • 结论:在ES防止脑裂的配置过半master后,集群无论如何出现脑裂的情况,至多只有一个有效的master集群满足最小master数量;

3.启动集群的所有节点

1.类bully(RBULLY)算法将master选举出来(master参加)

  • 1 启动的master节点到协调器获取集群所有master信息(id)
  • 2 如果activeMaster(正在提供主节点的信息list),有值,说明集群已经选举完毕master.如果有就选举完毕
  • 3 如果activeMaster中没有数据是空(获取断开剔除),没有值(节点信息),将会把从协调器获取的所有master信息放到后补list candidateMaster.
  • 4 判断candidateMaster里面存储的master节点数量是否满足最小master有效数量
  • 5 如果不满足,从新回到第一步
  • 6 如果满足,从里面将id值最小的master选举成为activeMaster的值

最终集群中activeMaster里的节点,就是被选举出来的主节点.

2.先启动Head插件观察

3.启动第一个ES

4.启动成功，一直循环读取

  • 1 启动的master节点到协调器获取集群所有master信息(id) 满足，因为初始设置的为主节点（因为只启动一个，只有一个主节点）
  • 2 如果activeMaster(正在提供主节点的信息list),有值,说明集群已经选举完毕master.如果有就选举完毕 不满足（刚启动，没有选举完毕，）
  • 3 如果activeMaster中没有数据是空(获取断开剔除),没有值(节点信息),将会把从协调器获取的所有master信息放到后补list candidateMaster.  满足  （有且只要一个）
  • 4 判断candidateMaster里面存储的master节点数量是否满足最小master有效数量 不满足（最小maste设置为2，目前只为1）
  • 5 如果不满足,从新回到第一步  不满足（重新获取）  
  • 6 如果满足,从里面将id值最小的master选举成为activeMaster的值  不执行

所以目前，只做一到四的循环读取

5.启动第二个节点

6.启动成功

  • 1 启动的master节点到协调器获取集群所有master信息(id) 满足，因为初始设置的为主节点（启动二个，有二个主节点）
  • 2 如果activeMaster(正在提供主节点的信息list),有值,说明集群已经选举完毕master.如果有就选举完毕 不满足（刚启动，没有选举完毕，）
  • 3 如果activeMaster中没有数据是空(获取断开剔除),没有值(节点信息),将会把从协调器获取的所有master信息放到后补list （防止一次放进多个）candidateMaster.  满足  （有二个）
  • 4 判断candidateMaster里面存储的master节点数量是否满足最小master有效数量 满足（最小maste设置为2）
  • 5 如果不满足,从新回到第一步  满足  
  • 6 如果满足,从里面将id值最小的master选举成为activeMaster的值  满足

所以目前，做一到六的读取  

7.HEAD插件查看

选出01做主节点

8.启动第三个节点

9.启动成功

因为选举已经结束，所以不会改变结果

10.head查看

11.在进群中连接负载均衡器写入一些数据(index01,index02)

#curl -XPUT http://IP:9200/index06

实现高可用，当01宕机.02,03 选举id最小的顶替，

  • 配置文件中的分片和副本默认值
  • index.number_of_shards: 5 
  • 设置索引的副本数,默认为1: 
  • index.number_of_replicas: 1 

index06在创建时,会经过master(activeMaster)根据配置文件计算

分片数量,副本数量,记录metadata 将索引数据切分到datanode

PS：分片无法控制，是选举的master负责分配

ES集群搭建完成

萌新Java程序猿
关注
专栏目录
ElasticSearch怎样设置 master、data 和 client 节点
YYDU_666的博客
01-05 1万+
在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。 　　默认情况下，elasticsearch 集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的。 　　　　1. node.master 　　　　2. node.data 　　默认情况下这两个属性的值都是true。 　　node.m...
Elasticsearch最佳实践之核心概念与原理
茅庐
12-03 1万+
作为专栏文章的第二篇，本文从数据组织、数据分布、集群角色、数据写入与存储结构多个方面对Elasticsearch的核心概念进行整理，尽可能由浅入深的交代清楚每个概念。
前端面试总结--ES6
学习笔记
07-29 488
最近在面试前端开发，整理了一些高频率的面试题，并附上一些写的较好的博文来辅助理解。 目录let、var、const的区别map、setpromise let、var、const的区别 map、set promise ...
elasticsearch节点(角色)类型解释node.master和node.data
热门推荐
a19860903的专栏
05-18 2万+
在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。 这些功能是由两个属性控制的。 node.master和node.data 默认情况下这两个属性的值都是true。 下面详细介绍一下这两个属性的含义以及不同
数据结构--知识点16--搜索算法(二叉树)
ANingL的博客
09-06 3177
文章目录一、树的概念1、特点2、树的术语3、树的种类4、树的存储与表示5、常见的树的应用场景二、二叉树1、概念2、性质 一、树的概念 树是一种抽象数据类型(ADT)或是视作这种抽象数据类型的数据结构 1、特点 每个节点有零个或多个子节点 没有父节点的节点称为根节点 每一个非根节点有且只有一个父节点 除了根节点外，每个子节点可以分为**多个不相交(因为都只有一个父节点)**的子树 2、树的术语 节点的度：一个节点含有的子树的个数称为该节点的度 树的度：一棵树中，最大的节点的度称为树的度 叶节点或终端节点
es:es学习笔记
03-04
描述中同样强调了 "es:es学习笔记"，表明内容可能包括个人或集体在学习 Elasticsearch 过程中的记录和心得。 **标签：“Java”** 标签“Java”提示我们，这个压缩包内的学习资料可能与使用 Java 开发 Elastic...
Elasticsearch学习心得与总结精华
资源摘要信息:"一个人的Elasticsearch学习总结笔记" Elasticsearch是一款广泛使用的基于Lucene构建的开源搜索引擎。它提供了易于使用的REST API，并能够存储、搜索和分析大量数据。Elasticsearch通常用于全文搜索、...
五分钟带你玩转elasticsearch（二十二）logback获取bootstrap
最新发布
2401_84414990的博客
04-20 603
既然选择这个行业，选择了做一个程序员，也就明白只有不断学习，积累实战经验才有资格往上走，拿高薪，为自己，为父母，为以后的家能有一定的经济保障。学习时间都是自己挤出来的，短时间或许很难看到效果，一旦坚持下来了，必然会有所改变。不如好好想想自己为什么想进入这个行业，给自己内心一个答案。面试大厂，最重要的就是夯实的基础，不然面试官随便一问你就凉了；其次会问一些技术原理，还会看你对知识掌握的广度，最重要的还是你的思路，这是面试官比较看重的。
personal-notes:个人笔记整理，便于查看复习
05-14
在"personal-notes"这个个人笔记整理中，我们可以期待看到关于JavaScript的深度学习和实践总结。 1. **基础语法**：JavaScript的基础包括变量声明（var、let、const）、数据类型（number、string、boolean、null、...
一步步带你搭建Elasticsearch环境，还看不懂？，Java面试心得必备技能储备详解
m0_65441360的博客
12-24 114
目录 1.1 Elasticsearch安装 1.1.1 Elasticsearch安装 1.1.2 Elasticsearch目录结构 1.1.3 Elasticsearch插件安装 1.1.4 Elasticsearch多实例启动 1.2 Kibana安装 1.2. 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》 【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享 1 Kibana安装 1
ElasticSearch的Ingest节点
weixin_34269583的博客
03-15 1116
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch多master配置及x-pack破解
王佩的CSDN博客
06-03 4366
x-pack是ELK的一个插件,集监控、权限、告警等于一体。支持集群级别、节点级别、索引级别的监控;支持索引、字段级别的权限控制。x-pack目前并不开源，试用期一个月。本着自用方便，尝试破解，如在生产环境下，请尊重版权，购买正版！ 结点规划 节点 角色 node1 master-1、x-pack node2 data-1、x-pack no...
四个超酷的Kubernetes集群管理工具
guying4875的专栏
11-07 8429
几乎所有用过Kubernetes的人都会发现其缺点，随着大K在负载平衡和工作管理方面的重大改进，用户可以将注意力逐渐转移到其他地方了，这里有四个项目可以减轻Kubernetes集群管理的负载。 图片源于网络 Kube-applier Kubernetes成功的关键是其与除Google以外的IT厂商和产品的接触。云存储公司Box收购了Kubernetes，并开放了一些用于帮助其内部部署的项
深入elasticsearch(三):elasticsearch选主流程详解
大道坦荡的博客
08-30 1671
es选主流程源码解析 es采用类Bully算法来做主节点选举， Bully算法： Leader选举的基本算法之一。它假定所有节点都有一个唯一的ID，使用该ID对节点进行排序。任何时候，当前的Leader都是节点中ID最高的那个。该算法实现简单，但当Leader节点网络故障或者不稳定时会有问题。比如，Master负载过重假死，集群选举第二大的ID为Leader，这时原来的Master恢复，再次被选为新主，然后再循环。。。 ES通过推迟选举，直到当前的Master失效后才重新选举，当前Master不失效，就不
经典领导选举算法：Bully 算法
鸭梨的博客
08-07 685
这是最常用的一种领导选举算法，它使用节点 ID的大小来选举新领导者。在所有活跃的节点中，选取节点 ID 最大或者最小的节点为主节点。 以下采用“ID 越大优先级越高”的逻辑来解释算法： 每个节点都会获得分配给它的唯一 ID。在选举期间，ID 最大的节点成为领导者。因为 ID 最大的节点“逼迫”其他节点接受它成为领导者，它也被称为君主制领导人选举：类似于各国王室中的领导人继承顺位，由顺位最高的皇室成员来继承皇位。如果某个节点意识到系统中没有领导者，则开始选举，或者先前的领导者已经停止响应请求。 算法包含 4
Elasticsearch原理（五）：Master机制及脑裂分析
桃花惜春风
09-04 1万+
Elasticsearch并不像其他工具那样依赖zookeeper，它自己内部有一套维护集群的体系。本文主要研讨Elasticsearch中Master的选举机制。
elasticsearch客户端连接选择
weixin_30408165的博客
12-16 1307
elasticsearch支持两种协议： http协议。 Native Elasticsearch binary protocol（本地elasticsearch二进制协议）：elasticsearch自主研发的节点间通信的协议。 还可以通过使用插件来扩展支持的协议。有一些官方的插件。 java之外的语言不推荐使用第二种方式，因为第二种方式需要很多自定义序列化。 支持的客户端 Tran...
Bully Algorithm（霸道选举算法）
universe_ant的博客
08-22 3849
霸道选举算法是一种分布式选举算法，每次都会选出存活的进程中ID最大的候选者。 霸道选举算法的假设 霸道选举算法的假设： 通信通道是可靠的，更进一步的假设是系统中任何两个进程之间都可以通信 进程之间相互知道各自的进程编号，也就是说算法依赖一个全局的数据 假设进程能够明确地判断出一个正常运行的进程和一个已经崩溃的进程 霸道选举算法的选举流程 选举过程中会发送以下三种消息类型： Elect...
Elasticsearch6.2基本概念及核心配置文件详解
这个名字想了很久
04-03 7879
以下内容,都摘自官网6.2 版本文档,有些属性名字和以前都不一样,如果没有找到对应的属性,请阅读官方文档进行查找：官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html基本概念近实时（Near Realtime[NRT]）Elasticsearch是一个接近实时的搜索平台。这意味...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值