ElasticSearch系列 - 集群&节点和分片

最新推荐文章于 2024-07-20 14:55:09 发布
最新推荐文章于 2024-07-20 14:55:09 发布
阅读量4.7k 收藏 15
点赞数 2
分类专栏： ElasticSearch系列 文章标签： 全文检索 ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33330687/article/details/100169492
版权
本文详细介绍了ElasticSearch的集群特性，包括其高可用性和可扩展性。节点部分讲解了Master Node、Data Node、Coordinating Node、Hot & Warm Node以及Machine Learning Node等不同类型节点的角色和配置。此外，还阐述了分片的概念，分为主分片和副本分片，讨论了分片在数据扩展和高可用性中的作用，以及分片配置的重要性。
摘要由CSDN通过智能技术生成
ElasticSearch系列 - 集群&节点和分片

文章目录

ElasticSearch 特性

ElasticSearch是一个高性能，高可用，易扩展的分布式搜索引擎。

其高可用体现在：

  • 服务可用性：允许有节点停止服务，整个ElasticSearch集群必须正常对外提供服务（冗余节点）
  • 数据可用性：允许部分节点丢失，但是数据不会丢失（冗余数据）

其可扩展性体现在：

  • 请求量提升/数据的不断增长（将数据分布到所有节点上）（新增节点就能提供读写能力）

ElasticSearch分布式架构的好处

  • 存储的水平扩容
  • 提高可用性

ElasticSearch不同的集群通过名字不同来区分，默认名字是elasticsearch

可以通过修改配置文件，或者在命令行中 -E cluster.name = test 进行设定

一个分布式集群可以有一个或多个节点

节点

一个节点就是一个ElasticSearch的实例，本质上就是一个Java进程。

每个节点都有名字，通过配置文件，或者启动时候 -E node.name = node1指定

每一个节点在启动之后

最低0.47元/天 解锁文章
Aaron_涛
关注
专栏目录
红黑树的插入与删除
qq_41078889的博客
09-22 421
红黑树的性质： 红黑树每一个节点都是有颜色的，不是黑色就是红色。 根节点必须为黑色。 所有叶子节点都为黑色，叶子节点是null，不存储实际数据。 每个红色的节点必须要有两个黑色的子节点，或者说每个叶子结点到根节点的所有路径上不能有连续的红色节点。 从根节点开始到任意叶子节点的路径上，黑色节点的数量必须是一致的。 节点的左右高度差最多不能超过两倍。 ...
ES生产集群部署之从零开始搭建一套4个节点的2核4G虚拟机集群
06-05 1149
这块我们跟大家说一下，一般来说，你即使要围绕es搭建一个集群的话，也建议至少4~5个节点，因为其实不光是es，后面可能还有kibana，logstash，elk生态栈的其他的东西要部署，包括这个高手进阶篇的课程，后面也是会不断的免费升级的，后面再出几个课程，单独收费，讲解运维，项目，ELK，等等。但是后来觉得说，既然大家都很支持我们，我们说还是决定敢说，对已经购买高级篇的同学，会不断免费升级，第二版，运维，第三版，搜索项目，第四版，ELK 部署一个4个节点的虚拟机集群，每个虚拟机是2核4G，我的笔记本是.
【Elasticsearch】Elasticsearch 中的节点角色
最新发布
书山有路，学海无涯。记录成长，追逐梦想
07-20 1310
主节点在 Elasticsearch 集群中的关键作用主要体现在全局级别的管理上。例如，主节点负责管理索引的创建或删除操作，监控哪些节点是集群的成员，以及确定将哪些分片分配给哪些节点。这种决策和管理的能力使主节点在维持整个集群稳定运行中扮演了重要角色。
华为云contos7系统部署ES集群--3个主节点
wdquan19851029的专栏
01-20 5258
一、集群部署 1.ES集群的基本核心概念 Cluster集群 　　一个ElasticSearch集群由一个或多个节点(Node)组成，每个集群都有一个共同的集群名称作为标识。Node节点 　　一个ElasticSearch实例即一个Node，一台机器可以有多个实例，正常使用下每个实例应该会部署在不同机器上。ElasticSearch的配置文件中可以通过node.master、node.data来设置节点类型。 node.master：表示节点是否具有成为主节点的资格 true代表的是有资格竞选主节点
Linux_CentOS7系统安装
xuehentian的博客
07-12 207
1、在虚拟机中安装CentOS启动一个virtual box虚拟机管理软件（vmware，我早些年，发现不太稳定，主要是当时搭建一个hadoop大数据的集群，发现每次休眠以后再重启，集群就挂掉了）virtual box，发现很稳定，集群从来不会随便乱挂，所以就一直用virtual box了安装virtual box用的是什么centos镜像，CentOS比较新的版本是7了，然后服务器上装操作系统的...
ES中 节点数量，分片数量，副本数量关系配比
热门推荐
一个写湿的程序猿
02-19 1万+
ES中 节点数量，分片数量，副本数量关系配比问题节点数量主分片数量两个问题：解决：副本分片数量两个注意事项总结一下 问题 创建索引库的时候，要设计分片数量和副本数量，分片和副本是分布式搜索引擎的核心。 如何指定分片进行增删改查操作？ 每个分片存储多少数据合适？ 我们的文档存在哪个分片中？ 为什么不可以修改主分片数量？ 一次完整的ES查询流程怎么流的？ 节点数量 节点数量很好说，你要是只有两三个服务器，还想啥自行车呢。 当然节点的数量还是有约束的。 一般情况下： 集群所有索引的副本最大值+1 <= 集群
es集群节点数和分片数关系_ES集群内原理&相关性以及分数score计算
weixin_35128544的博客
12-23 2999
1. 集群相关一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。当一个节点被选举成为主节点时，它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 而主节点并不需要涉及到文档级别的变更和...
es集群节点数和分片数关系_elasticsearch 集群启动流程
weixin_30446393的博客
12-23 531
es 的集群启动过程要经历选举主节点、主分片、数据恢复等重要阶段，理解其中原理和细节，对于解决或避免集群维护过程中可能遇到的脑裂，无主，恢复慢，丢数据等问题有重要作用。本文基于es 5.5.3版本，以通俗的语言描述流程中的原理和机制。基于版本：5.5.3相对于节点启动流程，我们通常更关注集群启动流程，这次不研究细节，说说原理和机制。集群启动整体流程：选举主节点选主是对Bully算法的改进，主要思路...
es集群节点数和分片数关系_elasticsearch5.x集群HA原理(shards、replicas)
weixin_28896255的博客
12-23 1712
最近在搭建es5.2的高可用集群，在这个过程中加深了对es的原理理解，基本分为四个阶段es单机—>es集群(多台机器)—>es分片和副本集分布原理—>es高可用集群1.es单机在第一个阶段基本概念的掌握还是比较熟练的，对应着关系型数据库(mysql)来理解es：文档(document)文档(document)是ElasticSearch中的存储形式。对所有使用ElasticSea...
es集群节点数和分片数关系_Elasticsearch 必知必会的默认值
weixin_39949954的博客
12-23 3605
一、ElasticSearch 简介1、Elasticsearch 是什么Elasticsearch 是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。主要特点:分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜索引擎–做不规则查询可以扩展到上百台服务器，处理 PB 级...
Elasticsearch集群环境搭建
01-07
Es集群搭建核心思想    1.配置相同集群名称    2.配置不同的节点ID    3.修改X台服务器elasticsearch.yml配置 服务器环境->准备三台服务器集群 服务器集群配置： ## 修改elasticsearch.yml文件 [root@chenxi elasticsearch]# vim elasticsearch.yml # ———————————- Cluster ———————————– # # Use a descriptive name for your cluster: # 取消注释，修改节点集群名称，保证三台服务器节点集群名称相同 cluster.name
docker容器中快速部署ES集群的详细操作步骤（6个节点）
mischen520的博客
01-26 6588
ElasticSearch集群 1.集群原理 ElasticSearch是天生支持集群的，他不需要依赖其他的服务发现和注册的组件，如zookeeper这些，因为他内置了一个名字叫ZenDiscovery的模块，是ElasticSearch自己实现的一套用于节点发现和选主等功能的组件，所以ElasticSearch做起集群来非常简单，不需要太多额外的配置和安装额外的第三方组件。 1、单节点 A.一个运行中的ElasticSearch实例称为一个节点，而集群是由一个或者多个拥有相同的cluster.name配置
elasticsearch集群各个节点
q936889811的博客
05-24 5876
文章目录相关参数配置介绍：不同节点1、master节点(Master-eligible node)：2、data节点(Data node)：3、proxy节点：4、预处理节点(Ingest Node)5、tribe节点(Tribe node)： 相关参数配置介绍： 单播：discovery.zen.ping.unicast.hosts 设置：discovery.zen.ping.unicast.h...
Linux之ES集群搭建
月生的静心苑
07-29 2813
在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。我们可以采用ES集群，将单个索引的分片到多个不同分布式物理机器上存储，从而可以实现高可用、容错性等。Elasticsearch集群要达到基本高可用，一般要至少启动3个节点，3个节点互相连接，单个节点包括所有角色，其中任意节点停机集群依然可用。因为集群选举算法奇数法则，所以至少需要三个节点。
ES生产集群部署之部署3个ES 5.5节点以及zen discovery集群发现机制
06-05 972
生产环境集群部署 一点一点讲解的，生产环境去部署的时候，涉及到很多的配置，还有牵扯到了很多的es的知识点 我们先下载es 5.5（7月6号为止）的压缩包，部署到3个节点上面去，但是不启动，因为我们接下来要花费很多讲的时间来讲解各种生产环境的参数的配置 es模拟生产环境的3节点的集群给启动起来，停止es进程，curl，kibana 1、在三个节点上都下载es 如果要安装es，首先就要从官网下载es的安装包，并且最新es版本要求有JDK 8以上的版本 es安装包的目录结构大致如下： bin：存放.
ES master data client三种节点
day_ue的博客
05-10 4046
简述 默认情况下，ES集群节点都是混合节点，即在elasticsearch.yml中默认node.master: true和node.data: true。 当ES集群规模达到一定程度以后，就需要注意对集群节点进行角色划分。 ES集群节点可以划分为三种：主节点、数据节点和客户端节点。 这是一种分而治之的思想，也是一种术业专攻的体现。 三类节点说明 master - 主节点： elasticsearch.yml : node.master: true node.data: false 主要功能
ES集群规划、集群搭建、集群管理
clz1314521的专栏
03-25 4476
ES集群规划、集群搭建、集群管理
ElasticSearch相关概念及原理
weixin_44005485的博客
09-13 243
一、基本概念 索引（Index） ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合，类比传统关系型数据库的一个数据库（database），或者一个数据存储方案（schema）。索引由其名称（必须全小写字符）进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。 类型（Type） 类型是索引内部的逻辑分区（category/partition），一个索引内部可定义一个或多个类型（type）。类比传统关系型数据库的一张表。 文档（Document） 文档是索引和搜索的原子单位，它是包含
ElasticSearch集群分片个数与节点关系
05-30
ElasticSearch集群中的分片个数与节点关系有以下几个方面的考虑： 1. 每个节点上可容纳的分片数量：每个节点在物理资源上有一定的限制，比如CPU、内存、硬盘等，因此需要根据每个节点的硬件资源情况来确定每个节点上可容纳的分片数量。如果节点硬件资源充足，则可以设置更多的分片，否则需要适当减少分片数量。 2. 数据复制因素：ElasticSearch中为了保证数据的高可用性，通常会将每个分片复制到多个节点上，这个复制因子可以通过设置副本数来控制。因此，在设置分片数量时还需要考虑副本数的因素，以免节点存储空间不足。 3. 查询性能：ElasticSearch的查询性能与分片数量也有关系，通常情况下，分片越多，查询性能越好，但是也会带来网络传输和分片合并等额外开销，因此需要在查询性能和分片数量之间做出平衡。 综上所述，ElasticSearch集群中的分片个数与节点关系需要根据实际情况来确定，需要考虑节点硬件资源、数据复制因素和查询性能等因素，并在实践中不断优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值