让elasticsearch(es)分片分布在不同的机器上

最新推荐文章于 2024-08-09 13:23:37 发布
最新推荐文章于 2024-08-09 13:23:37 发布
阅读量2.4k 收藏
点赞数
分类专栏： ElasticSearch Elasticsearch入门教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oatye40020/article/details/38761519
版权
本文介绍了两种使Elasticsearch分片分布在不同机器上的配置方法：一是通过设置`cluster.routing.allocation.same_shard.host`为`true`，确保同一shard的副本不在同一主机；二是利用`rack_id`定义，使分片尽可能分散在不同机柜，从而达到跨机器分布的效果。在已运行的生产环境中调整配置需谨慎，避免数据丢失。
摘要由CSDN通过智能技术生成

有两种方法，都是修改es的配置文件（%ES_HOME%/config/elasticsearch.yml）：

方法一、设置cluster.routing.allocation.same_shard.host:

最低0.47元/天 解锁文章
oatye40020
关注
专栏目录
【Elasticsearch】揭秘 Elasticsearch 分片分配
九师兄
06-14 536
1.概述 翻译：https://aws.amazon.com/cn/blogs/opensource/open-distro-elasticsearch-shard-allocation/ Open Distro for Elasticsearch 能够提供无缝扩展体验的核心在于它能够在机器之间分配工作负载。这是通过sharding. 创建索引时，您可以为该索引设置主分片和副本分片计数。Elasticsearch 将您的数据和请求分布在这些分片上，并将分片分布在您的数据节点上。 集群的容量和性能在很大程度.
【Elasticsearch】Elasticsearch 最佳实践系列之分片恢复并发故障
九师兄
06-16 1029
这个实验，我在6.8 版本上，没有测试出来大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。场景描述废话不多说，先来描述场景。某日，腾讯云线上某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。设定之后，观察集群 unassigned 分片，一开始下降的速度很快。
ES主分片和副本分片
最新发布
Jak的博客
08-09 1134
主分片的数量：可以设置为 1 到 1024 之间的任意值，但具体数量应根据数据量、硬件资源和查询需求来决定。不可更改：主分片的数量在索引创建后无法更改。性能评估：合理评估主分片的数量，为性能和资源利用权衡做出最佳决策。怎么理解主分片，数据分到各个节点吗在 Elasticsearch 中，**主分片（Primary Shards）**是存储数据的核心元素，它们在集群中负责处理具体的存储和搜索请求。以下是对主分片的详细理解，包括数据如何分布到各个节点。主分片是数据存储的基础单位。
elasticsearch查询某个索引分片信息
johnhuster的专栏
10-30 2万+
elasticsearch6.8 通过下面的路径可以查询elasticsearch某个索引分片信息 http://xx.xx.xx.xx:9200/索引名称/_search_shards { "nodes": { "Q6i1duFYQLmJFIu812DQjQ": { "name": "node1", "ephemera...
Elasticsearch之分布式介绍
LoveSummer
02-12 963
Search API 实现对es中存储的数据进行查询分析，endpoint为 _search,如下图所示： 查询主要有两种形式 - URI Search - 操作简便，方便通过命令行测试 - 仅包含部分查询语法 - Request Boy Search - es 提供的完备查询语法 Query DSL （Domain Specific Language） 通过 url query 参数来实现...
Elastic：Elasticsearch 的分片管理策略_elastico的交易分片策略(1)
2401_84247505的博客
04-12 678
实战项目、讲解视频，并且后续会持续更新**
es的分片和副本_Elasticsearch 索引分片与副本设置技巧
weixin_39961522的博客
11-22 2764
Elasticsearch虽然搜索很快，但如果分片设置不当，当数据量达到一个量级后，查询速度也会直线下降。如果一个索引具有很大的数据量，它的数据量可能会超出单个节点的容量限制(硬盘容量)，而且单个节点数据量过大，执行性能也会随之下降，每个搜索请求的执行效率都会降低。 为了解决上述问题， Elasticsearch 提出了分片的概念，索引将划分成多份，称为分片。当创建索引时，可以很简单的指定想要的分...
ES主分片和副本数据大小不一样的情况
01-09
每个索引可以被进一步划分为多个分片（shard），这样可以在多台机器上分布存储和处理数据，以提高性能和可扩展性。每个分片有两种类型：主分片（primary shard）和副本分片（replica shard）。 主分片是数据的原始...
es集群节点数和分片数关系_Elasticsearch 必知必会的默认值
weixin_39949954的博客
12-23 3609
一、ElasticSearch 简介1、Elasticsearch 是什么Elasticsearch 是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。主要特点:分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜索引擎–做不规则查询可以扩展到上百台服务器，处理 PB 级...
跟我学Elasticsearch(8) 图解es集群的shard分配、扩容和容错机制
nowitzkis的专栏
07-28 2662
文章目录1、index、document和shard的关系2、单个node下shard是如何分配的3、2个node下shard是如何分配的4、node扩容的意义5、node容错机制(主备切换、数据恢复) 1、index、document和shard的关系 (1) 1个index的多个document会被均匀分配到多个shard；每个shard都是一个最小工作单元，承载1个index的部分document。 (2) 1个document只存在于某1个primary shard以及其对应的replica sha
Elasticsearch 分片管理解析
技术杂谈
06-12 2362
一个 shard 本质上就是一个 Lucene 索引，也是 Elasticsearch 分布式化 Lucene 的关键抽象，是 Elasticsearch 管理 Lucene 文件的最小单位。所以，Elasticsearch 提供了大量的接口，可以对集群内的 shard 进行管理。 一个 shard 本质上就是一个 Lucene 索引，也是 Elasticsearch 分布式化 Lucene 的关键抽象，是 Elasticsearch 管理 Lucene 文件的最小单位。 Elasticsearch 面试题
Elasticsearch 数据分布配置
dragonlicat的博客
04-04 1296
Allocation 分布问题-集群级参数 1. 单机部署多实例，索引主备分布问题- cluster.routing.allocation.same_shard.host [静态配置] 检查同一物理机上的索引主备不能同时存在，防止该物理机节点挂掉，主备分片全部丢失不可用 Allows to perform a check to prevent allocation of multiple ins...
elasticsearch一些重要的配置参数
热门推荐
Angus
10-29 39万+
整理了一些Elasticsearch重要的配置参数。
ElasticSearch集群shard均衡策略
大叶子不小的博客
09-21 1244
可以通过设置分片的分布规则来人为地影响分片的分布，示例如下：现在添加一条策略，设置rack_id作为分片规则的一个属性上面设置意味着rack_id会用来作为分片分布的依据。例如：我们启动两个设置r1的节点，然后建立一个5个分片，一个副本的索引。这个索引就会完全分布在这两个节点上。如果再启动另外两个节点，设置成r2，分片会重新分布，但是一个分片和它的副本不会分配到同样rack_id值的节点上。注意：当设置了分片分布属性时，如果集群中的节点没有设置其中任何一个属性，那么分片就不会分布到这个节点中。
ES集群动态增加节点
weixin_38846022的博客
10-09 5347
ES集群动态增加节点(不重启其他节点) 新增的节点上配置基本和之前的节点一样即可，只需要改下节点的名称和监控服务器的地址即可。 如果在同一台服务新增节点但是又想保证数据的完整性，那么可以添加如下配置； cluster.routing.allocation.same_shard.host: true cluster.routing.allocation.awareness.attributes: r...
Elasticsearch 2.2.0 集群配置详解
weixin_34262482的博客
02-21 211
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch参数配置汇总
深圳市多克创新科技有限公司
02-10 1586
Elasticsearch参数配置汇总
ElasticSearch在大数据实时项目中的应用与特性
这些分片可以在集群的不同节点间分布，确保了系统的水平扩展性和高可用性。当数据量增长时，可以通过增加分片数量并将它们分散到更多机器上来平衡负载。此外，每个查询请求会被路由到一个节点，该节点负责协调所有分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值