分片（primary shard & replica shard）

最新推荐文章于 2024-01-12 10:34:49 发布
最新推荐文章于 2024-01-12 10:34:49 发布
阅读量734 收藏 1
点赞数
分类专栏： Elasticsearch学习 文章标签： elasticsearch
原文链接：https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-1/初识Elasticsearch.pdf
版权

分片（primary shard & replica shard）

分片

  • 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上
    • 一个分片是一个运行的Lucene实例
    • 主分片数在索引创建时指定，后续不允许修改，除非Reindex
  • 副本，用以解决数据高可用性的问题。副本分片是主分片的拷贝
    • 副本分片数，可以动态调整
    • 通过增加副本数，还可以在一定程度上提高服务的性能（读取的吞吐）
  • 一个三节点的集群，blogs索引的分片分布情况：
    shard.jpg
    三个主分片被分到三个节点上，分片的副本分散到其他节点上。

分片的设定

  • 对于生产环境中分片的设定，需要提前做好容量规划，主分片数是在索引创建的时候预先设定，事后无法修改
    • 分片数设置过小
      • 导致后续无法增加节点实现水平扩展
      • 单个分片的数据量太大，导致数据重新分配耗时
    • 分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题
      • 影响搜索结果的相关性打分，影响统计结果的准确性
      • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

查看集群的健康状况

GET _cluster/health
  • Green：主分片与副本都正常分配
  • Yellow：主分片全部正常分配，有副本分片未能正常分配
  • Red：有主分片未能分配
oimwqo
关注
专栏目录
【Elasticsearch】Elasticsearch底层系列之Shard Allocation机制
九师兄
06-14 436
这便是Shard分配，搬迁和平衡的全部过程，ElasticSearch通过这三个操作，保证Shard在Node之间均衡的分配，修改动态配置后完成Shard迁移，以及在集群运行过程中的自动均衡。
elasticsearch shard 和 replica
开水烫鱼的博客
09-08 430
elasticsearch shard 和 replica （1）index包含多个shard （2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 （3）增减节点时，shard会自动在nodes中负载均衡 （4）primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的r...
primary shard 和 replica shard机制
qq1300375795的博客
03-18 2938
primary shard 和 replica shard机制 1：primary shard和replica shard机制 (1):index包含多个shard (2):每个shard都是一个最小的工作单元，承载部分的数据，Lucene实例，完整的简历索引和处理请求的能力 (3):增减节点时，shard会自动在nodes中负载均衡 (4):primary shard和replic...
ElasticSearch | Primary Shard | Replica Shard | 故障转移
乌鲁木齐001号程序员
05-27 514
Primary Shard | 主分片 主分片主要是提升系统的存储容量； 通过主分片，可以将一份索引的数据，分散在多个 Data Node 上，实现存储的水平扩展； 主分片数在创建索引的时候指定，后续默认不能更改，如要修改，需重建索引； Replica Shard | 副本分片 提升可用性 一旦主分片丢失，副本分片可以 Promote 成主分片； 副本分片数可以动态调整； 提升系统的读取性...
ES初探之——shard和replica
weixin_41290471的博客
05-18 6701
ES中shard和replica index包含多个shard 每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 增减节点时，shard会自动在nodes中负载均衡 primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的replica shard中，不可能存在于多个pr...
Elasticsearch分片、副本与路由(shard replica routing)
sun
06-17 595
1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。 2）副本（replica） 为了提升访问压力过大是单机无法处理所有请求的问题，Elasticsearch集群引入了副本策略replica。副本策略对index中的每个分片创建冗余的.
MongoDB分片+副本集部署（Shard+ReplicaSet单机多节点部署）
duringnone的博客
04-06 721
Mongodb-单机多节点部署 【亲测】 一、集群规划 1.普通分片集，没有数据冗余能力，如果任意分片节点出现故障，则会数据丢失，所以在生产中一般都采用分片+副本集的方式，该方式即解决读写负载均衡高可用，也解决了数据冗余高可用的问题； 2.主机充裕的情况下分片副本集集群，至少需要9台主机节点，其中每三台组成一组副本集，然后再把三组副本集的主节点组合成分片集群，这样当用户或应用程序请求操作数据库时...
ES-primary和replica
jff_shihaoren的博客
09-16 616
shard分片： 1、一个index => 若干个shard； 2、一个shard => 一个Lucene实例，具备Lucene的完整功能； 3、shard可以在创建index自定义，但后期无法变更； replica副本： 1、一个index可以对应若干个replica，但不一定启用，因为单节点时，无法满足shard和replica不能在不同节点上的要求，所以replica不可用，index状态为yellow； 2、replica可以在创建index时自定义，后期也可随时更改。 s
mongo-cluster-sharding:使用分片和ReplicaSet设置集群MongoDB
04-13
在大型分布式系统中，为了实现水平扩展和数据冗余，MongoDB提供了分片（Sharding）和复制集（Replica Set）的功能。本文将深入探讨如何使用这两种技术来设置MongoDB集群。 **一、MongoDB分片** 1. **分片概念**: ...
Elasticsearch shard&replica机制
lm324114的专栏
07-01 1427
Elasticsearch shard&replica机制 一个index 包含多个shard 例如：一个index 包含3T数据，每台服务器可以承载1T数据，设置Primay shard有3个 2. 每个shard 都是一个最小工作单元，承载部分数据，lucence实例，完整的建立索引和处理请求能力 3. 增减节点，shard会自动在N...
shard:GUI文件加密工具
06-02
碎片 Shard 是一种加密工具，可让您将文件拆分为“分片”，因此只有将一定数量的分片重新组合在一起才能恢复原始文件。 警告： Shard 是实验性软件，其安全性尚未得到验证。 请不要依赖 Shard 来获取重要文件。 截图 技术 Shard 使用 Shamir 秘密共享，由 Daniel Silverstone 编写的 libgfshare 加密库实现。 每个分片与加密文件的大小相同（加上一个小标题）。 这个大小对于提供信息论安全性是必要的，这意味着没有足够分片的人可能无法重建有关原始文件的任何信息。 有关其工作原理和原因的更多信息，请参阅 libgfshare 文档。 作者 Shard 是哈佛图书馆创新实验室的一个项目，得到了奈特基金会原型基金的支持。
图解2个node环境下replica shard是如何分配的
1
08-30 302
1、图解2个node环境下replica shard是如何分配的 （1）replica shard分配：3个primary shard，3个replica shard，1 node （2）primary ---> replica同步 （3）读请求：primary/replica  ...
Elasticsearch-shard&replica机制（学习笔记）
Micheal_yang0319的博客
04-20 185
1、shard&replica机制 （1）index包含多个shard。 （2）每个shard都是一个最小工作单元，承载部分数据，是一个lucene实例，有完整的建立索引和处理请求的能力。 （3）增减节点时，shard会自动在nodes中负载均衡。 （4）primary shard和replica shard；每个document肯定只存在某一个primary shard以及对应的repl...
Elasticsearch学习（六）————shard和replica性质
qq_42513284的博客
06-13 455
一.shard和replica性质 每个index包含多个shard。 每个shard都是一个最小的工作单元，承载部分数据、Lucene实例、完整的建立索引和处理请求的能力。 增减节点时，shard会自动在节点中进行负载均衡。 shard和replica，每个document只存在一个shard和它的replica当中能够。 replica是shard的数据副本，负责容错，以及承担读请求负载。 ...
【架构师面试-搜索-2】-ElasticSearch集群shard与replicas机制
chongfa2008的博客
12-18 391
1 为什么分片 在分布式系统中，单机无法存储规模巨大的数据，要依靠大规模集群处理和存储这些数据，一般通过增加机器数量来提高系统水平扩展能力。因此，需要将数据分成若干小块分配到各个机器上。然后通过某种路由策略找到某个数据块所在的位置。 2 为什么做副本 Redis主从复制，MySQL主从复制 1TB -> 2TB 除了将数据分片以提高水平扩展能力，分布式存储中还会把数据复制成多个副本，放置到不同的机器中，这样一来可以增加系统可用性，同时数据副本还可以使读操作并发执行，分担集群压力。 .
Elasticsearch学习
写bug的z
09-11 415
写在前面：没有用过es，来学习一下。 下载文件 es官网链接的下载地方，我下载的是window 下载往后拉也有步骤： 1下载and解压Elasticsearch 2 Runbin/elasticsearch(orbin\elasticsearch.baton Windows) 3 游览器输出http://localhost:9200/ 4出现信息（视频的老师说，cmd执行...
ElasticSearch之数据分片
thlzjfefe的博客
06-12 3400
a、主节点：主节点不接受客户端的请求，他主要控制Elasticsearch集群，负责集群中的操作，比如创建/删除一个索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。在Elasticsearch中，我们可以使用相同类型(type)的文档表示相同的"事物"，因为他们的数据结构是相同的，每个类型都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样，所有类型下的文档被储存在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。
Elasticsearch基础篇(七)：分片大小修改和路由分配规则
最新发布
后端开发
01-12 3965
这样设计可以提高系统的可用性和容错性，因为数据的多个副本分布在不同的节点上，即使某个节点发生故障，系统仍然可以继续工作。副本分片是主分片的完整复制，位于不同的节点上。主分片的数量是索引创建时固定的，因为这个值与数据的分布和索引结构有关。每个索引都被划分成若干个主分片，每个主分片都是一个独立的索引。往索引中增加100条数据，文档分布如下：三个主分片的文档数量正好为100，随着文档数量的增加，三个主分片的数量会越来越均衡。在完成重新索引后，将应用中的写操作切换到新的索引，确保新数据写入新的索引。
Elasticsearch索引分片的数量及大小分配策略
热门推荐
Elastic开源社区
10-20 1万+
Shard即数据分片，是ES的数据载体。在ES中数据分为primary shard（主分片）和replica shard（副本分片），每一个primary承载单个索引的一部分数据，分布于各个节点，replica为某个primary的副本，即备份。分片分配的原则是尽量均匀的分配在集群中的各个节点，以最大程度降低部分shard在出现意外时对整个集群乃至服务造成的影响。
MongoDB分片集群管理与数据分布
对于未分片的集合，它们的数据将存储在主分片（Primary shard）上。每个数据库都有一个主分片，它在数据库创建时被指定，用于存储该数据库内所有未分片集合的数据。这意味着即使在分片集群中，仍可以处理小规模或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值