ElasticSearch动态扩展索引分片问题

已于 2023-02-23 17:37:33 修改
阅读量1.8k 收藏
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch 搜索引擎 大数据
于 2019-06-05 17:01:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijingjingchn/article/details/90905401
版权

通常不允许动态修改索引的分片数量：因为它是 route documents to shards 算法中的重要元素：

shard = hash(routing) % number_of_primary_shards

我们当前的选择只有一个就是将数据重新索引至一个拥有更多分片的一个更大的索引，但这样做将消耗的时间是我们无法提供的。 通过事先规划，我们可以使用 预分配 的方式来完全避免这个问题。

参考：https://www.elastic.co/guide/cn/elasticsearch/guide/current/shard-scale.html
L.ZZ
关注
专栏目录
Elasticsearch 索引的分片和副本是什么意思,如何扩展分片
杨杨杨~~的博客
04-23 1621
当你在 Elasticsearch 中创建一个索引时，你可以指定该索引被分成多个分片（Shard）。分片是索引的基本构建块，每个分片都是一个独立的 Lucene 索引，它包含了一部分你的数据。分片允许你水平扩展你的索引以处理更大的数据量。
es动态分配分片_Elasticsearch 集群分配多少分片合理
weixin_33724434的博客
01-12 1327
Elasticsearch 是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉 Elastic Stack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能问题。群集拥有的数据越多，纠正问题也越困难，因为有时可能需要重新索引大量数据。因此，当我们遇到性能问...
Elasticsearch基础篇(七)：分片大小修改和路由分配规则
后端开发
01-12 4058
这样设计可以提高系统的可用性和容错性，因为数据的多个副本分布在不同的节点上，即使某个节点发生故障，系统仍然可以继续工作。副本分片是主分片的完整复制，位于不同的节点上。主分片的数量是索引创建时固定的，因为这个值与数据的分布和索引结构有关。每个索引都被划分成若干个主分片，每个主分片都是一个独立的索引。往索引中增加100条数据，文档分布如下：三个主分片的文档数量正好为100，随着文档数量的增加，三个主分片的数量会越来越均衡。在完成重新索引后，将应用中的写操作切换到新的索引，确保新数据写入新的索引。
实例展示elasticsearch集群生态,分片以及水平扩展.
weixin_33940102的博客
11-30 259
　　elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elastics...
Elasticsearch扩容与缩容集群
最新发布
Dxy1239310216的博客
07-16 849
Elasticsearch集群的扩容与缩容是确保系统稳定性和性能的重要操作。通过合理的扩容和缩容策略，可以根据业务需求灵活调整集群规模，提升系统的处理能力和资源利用率。在操作过程中，需要注意监控集群状态、确保数据安全，并尽量在业务低峰期进行操作，以减少对业务的影响。
Elasticsearch：为自管的 Elasticsearch 添加分片分配感知
Elastic 中国社区官方博客
03-10 625
分片分配感知是 Elasticsearch 中的一项功能，允许你根据特定节点属性分配分片。通过这样做，你可以确保分片在集群中的节点之间均匀分布，从而提高性能和资源利用率，并最大限度地降低在硬件故障时丢失所有分片副本的风险。
es动态分配分片_ElasticSearch常用操作记录
weixin_42610671的博客
01-15 646
ElasticSearch的一些常用操作，这里记录一下，需要说明一下需要有一定的ES理论基础和实际操作基础，如果没有请先mark。查看相关信息curl -XGET ‘http://192.168.0.1:9200/_cat/health?v’curl -XGET ‘http://192.168.0.1:9200/_cat/nodes?v’curl -XGET ‘http://192.168.0.1...
ES-08-ElasticSearch数据分片（shard）
csdn_yasin的博客
02-24 6541
说明 ElasticSearch数据分片（shard） 创建多分片索引、更改多分片索引副本分片数量、路由计算和分片控制 官方文档：https://www.elastic.co/cn/ 核心概念 》什么是数据分片（shard）？ 一个分片是一个底层的工作单元 ，它仅保存了全部数据中的一部分，一个分片是一个Lucene的实例，它本身就是一个完整的搜索引擎。我们的文档被存储和索引到分片内，但是应用程序是直接与索引而不是与分片进行交互。 Elasticsearch 是利用分片将数据分发到集群内各处的。分片是数
怎样合理创建es索引_ElasticSearch合理分配索引分片原理
weixin_39683769的博客
12-24 397
Elasticsearch 是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉 Elastic Stack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能问题。群集拥有的数据越多，纠正问题也越困难，因为有时可能需要重新索引大量数据。因此，当我们遇到性能问...
es动态分配分片_ES-Commands
weixin_39751871的博客
12-30 1127
说明对一些常用的或在官网文档中不易找到的 ES 命令，做个简单整理，方便查找，想起时再做更新和维护。Ps：大多命令为基于 5.4.2 版本 ES 集群。Commands索引缩容(减少主分片数)es-5.4 官方文档 ： https://www.elastic.co/guide/en/elasticsearch/reference/5.4/indices-shrink-index.html首先，修改...
ElasticSearch 的倒排索引
艾斯比
09-26 159
我们知道索引是根据参数能够快速找到索引, 根据索引能快速找到数据 ES 中的倒排索引, 是把数据分词后, 把每个分词结果都创建索引, 当我们根据关键字搜索时, 先把关键字分词, 把分词结果当做索引去查找数据, 并聚合结果, 根据匹配程度排序, 得到最终搜索结果 ...
【总结】扩大ES索引分片数的3个方案
大数据，Linux，服务器，技术、架构，方案
02-26 1542
在实际业务开始前应充分评估当前集群的状态和未来的增长趋势，但是由于没有做好容量规划与评估，没有设计灵活的代码，或者不熟悉硬件的性能等原因，随着单个索引数据越来越多，初始设置的分片较少已经满足不了读写性能的需要，最终不得不改。：拆分后，Elasticsearch 集群会自动调整这些新分片在集群内的分布，确保数据在各个节点之间均匀分布，从而提高整体集群的性能和稳定性。如果你还没有大量的数据并且可以重新索引，此时回头还不晚，立即创建指定一个更大的主分片数的新索引。方案三：分片拆分（Split）
如何解决elasticsearch分页总数量超过10000条就报错
benbenqing555的专栏
03-16 4391
总之，对于elasticsearch分页总数量超过10000条就报错的问题，我们可以通过合理的查询、聚合方式和索引优化来处理。4. 使用索引模式优化：索引模式是Elasticsearch中的一种优化方式，可以帮助我们在搜索时提高效率。3. 使用不同的查询和聚合方式：如果我们的查询和聚合方式太过复杂，会导致搜索结果数量过多。在这种情况下，可以考虑使用不同的查询和聚合方式，以减少搜索结果数量。2. 增加索引的分片数量：如果我们发现搜索结果数量达到了10000限制，可以考虑增加搜索的分片数量。
08_图解Elasticsearch 扩容机制、容错机制
华星详谈的博客
11-21 2629
本文章收录于【Elasticsearch系列】，将详细的讲解 Elasticsearch 整个大体系，包括但不限于ELK讲解、ES调优、海量数据处理等。本文大纲一、图解横向扩容过程、如何...
增加index的primary shard数量-ElasticSearch
fengfengzai0101的博客
01-09 1067
介绍 需要将当前index的primary shard数量增加时，可以使用split index api方法 这种方法其实是生成一个新index，但是会保留原来的index* 步骤 首先确保原来index是只读状态 PUT /my_source_index/_settings { "settings": { "index.blocks.write": true } } 上面...
ElasticSearch修改分片数和副本数及增加字段
大叶子不小的博客
02-28 3999
本文通过一个简单的案例，先创建索引库students1和索引库students2，在创建students2的语句中指定新的分片数，然后将students1中数据复制到students2中，实现重新索引，以达到修改索引库分片数的目的。ElasticSearch中的数据会被分别存储在不同的分片上，索引库的分片数量是在索引库创建的时候通过settings去设置的，如果不设置，分片数默认是5，分片数一旦确定就不能改变。索引库的情况修改创建索引库的命令，在实现重新索引之后，要将程序中的索引库指向新的索引库。
elasticsearch 7.4.0 磁盘超过80%后出现数据写不进去的问题
liaomingwu的专栏
01-10 2339
elasticsearch磁盘超过80%后出现数据写不进去的问题
Elasticsearch 7.X 集群分片 及 水平扩容 讲解
小毕超博客
12-30 7131
一、ES 中的分片 上篇文章我们讲解了ES 7.X 的集群环境搭建，本篇主要讲解下ES的分片和扩容。 上篇文章地址：https://blog.csdn.net/qq_43692950/article/details/122244793 一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称
elasticsearch的索引和分片
07-27
索引和分片是 Elasticsearch 中的两个重要概念。 索引是 Elasticsearch 用于存储和组织数据的逻辑容器。它类似于关系型数据库中的数据库，可以包含多个文档，并能够执行各种操作和查询。每个索引都有一个唯一的名称，用于在集群中标识和访问。 分片是将索引拆分为多个较小的部分，以便分布式存储和处理数据。每个分片都是一个独立的、完整的索引，可以在集群中的任何节点上进行复制和分配。分片可以提高数据的并行处理能力和容错性，允许在大规模集群上水平扩展。 当创建索引时，需要指定分片的数量和副本的数量。分片数量决定了索引数据在集群中的分布方式，而副本数量用于数据的冗余备份和故障恢复。每个分片都是一个相对独立的单位，包含部分数据和索引的结构信息。 通过将索引拆分为多个分片，Elasticsearch 可以将负载分散到集群中的多个节点上，并且能够更好地处理大型数据集。同时，通过副本的复制机制，可以提供高可用性和故障恢复能力。 需要注意的是，索引和分片的设计需要根据具体的业务需求和数据规模进行权衡和规划，以便充分利用 Elasticsearch 的分布式特性和性能优势。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值