【elasticsearch】 elasticsearch document 路由 (routing) 到shard

最新推荐文章于 2021-06-20 14:33:20 发布
最新推荐文章于 2021-06-20 14:33:20 发布
阅读量356 收藏
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch 路由 routing shard
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/108904952
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
本文详细介绍了Elasticsearch中数据路由到shard的工作原理，包括数据路由的计算算法、`routing_partition_size`参数对数据倾斜的缓解、以及在增删改查操作中的应用。重点讨论了如何通过合理设置routing值来保证文档分布的均衡性，以避免数据倾斜问题。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

Elasticsearch分布式设计的基本思想是Elasticsearch集群由多个服务器节点组成，集群中的一个索引分为多个分片，每个分片可以分配在不同的节点上。其中每个分片都是一个单独的功能完成的Lucene实例，可以独立地进行写入和查询服务，ES中存储的数据分布在集群分片的一个或多个上，其结构简单描述为下图。

在这里插入图片描述在上面的架构图中，集群由三个节点组成，每个节点上有两个分片，想要读写文档就必须知道文档被分配在哪个分片上，这也正是本文要讲的routing功能的作用。

2. 工作原理

2.1.数据路由(routing)

document路 由到shard上是什么意思?

routing参数是一个可选参数，默认使用文档的_id值，可以用在INDEX, UPDATE,GET, SE

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Elasticsearch】elasticsearch shard 分片
九师兄
05-09 269
文章目录1.概述5.分片设置5.1 避免过度分片 1.概述 5.分片设置 5.1 避免过度分片 分片是Elasticsearch的最大优势之一，即将数据分散到多个节点以实施并行化。关于这个主题有过很多讨论。 但请注意，索引的主分片一旦设置便无法更改（除非重建索引或者reindex）。 对于新来者来说，过度分片是一个非常普遍的陷阱。在做出任何决定之前，请确保先通读官方的这篇博文： 我在 Elasticsearch 集群内应该设置多少个分片？ https://www.elastic.co/cn/blog/ho
Elasticsearch 7.10 之 Search shard routing
王大呀呀的博客
02-01 740
为了防止硬件故障并提高搜索容量，Elasticsearch 可以跨多个节点上的多个分片存储索引数据的副本。运行搜索请求时，Elasticsearch 选择一个包含索引数据副本的节点，并将搜索请求转发到该节点的分片。此过程称为搜索分片路由或路由。 Adaptive replica selection 默认情况下，Elasticsearch 使用自适应副本选择来路由搜索请求。此方法使用分片分配意识和以下条件选择合格的节点： 协调节点与合格节点之间的先前请求的响应时间 合格节点运行先前的搜索所花费的时间 合格节
elasticsearch document 数据路由
weixin_45012575的博客
09-11 126
一、介绍 数据路由（routing）：一个index的数据会被分为多片，每片都在一个shard中，所有，一个document只能存在于一个shard中，党创建document时，es需要决定讲index放在哪个shard上，这个过程就称为数据路由（document routing） 二、路由算法： shard=hash(routing)%number_of_primary_shards 每次操作...
ElasticSearch里面的路由功能介绍
三劫散仙
06-21 147
在ElaticSearch里面，路由功能算是一个高级用法，大多数时候我们用的都是系统默认的路由功能，我们知道一个es索引可以分多个shard和每个shard又可以有多个replia，那么现在思考一个问题，我们添加进去的数据，是如何分布在各个shard上面的，而查询时候它是又怎么找到特定的数据呢。 默认情况下，索引数据的分片规则，是下面的公式： [code="java"] ...
ES 26 - Elasticsearch document数据路由以及document 查询内部原理图解揭秘
xiangjai的专栏
10-22 471
document数据路由 1. 什么是document路由 2. 路由算法 shard = hash(routing) % number_of_primary_shards 3. 手动指定routing 4 primary shard数量不可变的原因一旦index建立，primary shard是不允许修改的，但是replica shard可以随时修改。primary shard的数量确定之后不可更改，这是因为，数据路由时确定了shard的数值，后续primary shard数量变了的话，再根据路由
ES(Elasticsearch) routing路由以及自定义路由
wangxuelei036的博客
06-10 7078
一个index的数据会被分为多片，每片都在一个shard中。所以说，一个document，只能存在于一个shard中。 当客户端创建document的时候，es此时就需要决定说，这个document是放在这个index的哪个shard上。 这个过程，就称之为document routing，数据路由。当ES散列文档的ID时 就会发生文档的路由，来决定文档应该索引到哪个分片中，这可以由你指定也可以让ES生成
【elasticsearch】 es 路由错误 不到 也可能 查询到的分析
九师兄
06-20 566
1.概述 转载：关于elasticSearch中路由的一些问题 路由相关的解读请参考：【elasticsearch】 elasticsearch document 路由 (routing) 到shard 近日放缓了elasticSearch的学习，老大问到了之前他看到的一个路由相关的问题，一时没有详细思路，之后查找实践后有了一定猜测，在老大的提醒下也算是明确了问题原因，在此记录下。 遇到的问题 在官方文档的getAPI描述中，有如下图的一个描述。 大体意思就是说如果指定路由查询时，指定路由是错误的，那么.
【Elasticsearch】Elasticsearch底层系列之Shard Allocation机制
九师兄
06-14 445
这便是Shard分配，搬迁和平衡的全部过程，ElasticSearch通过这三个操作，保证Shard在Node之间均衡的分配，修改动态配置后完成Shard迁移，以及在集群运行过程中的自动均衡。
ElasticSearch系列——document数据路由原理
weixin_42894555的博客
07-11 215
文章目录什么是document 数据路由路由算法primary shard数量不可变的原因 ElasticSearch系列——主目录 什么是document 数据路由 我们知道，一个index的数据会被分为多片。每片都在一个shard中。 所以说，一个document ,只能存在于一个shard中。当客户端创建document的时候，es此时就需要决定说，这个document是放在这个index的哪个shard上。这个过程。就称之为document routing ,数据路由。 路由算法 sha.
一条数据是如何落地到对应的shard上的？
loveapple0927的博客
02-25 215
前言 一条数据是如何落地到对应的shard上的？ 当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个算法决定的： shard_num = hash(_routing) % num_primary_shards 其中 _routing 是一个可变值，默认是文档的 _id 的值 ，也可以设置成一个自定义的值。 _routing 通过 ha
Elasticsearch模块功能之-路由（routing）
路漫漫其修远兮
08-07 1万+
索引分片分配能够控制索引分片在节点上怎么分布，那对于具体的文档能否控制具体节点的分布呢？答案是可以，根据路由公式shard = hash(routing) % number_of_primary_shards，Elasticsearch使用相同的routing参数来实现这个功能，但我们在创建索引时需如下进行配置： 如果我们想在建索引时将相关的文档存放到一个分片下就可以这样做： curl
Elasticsearch分片、副本与路由(shard replica routing)
sun
06-17 597
1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。 2）副本（replica） 为了提升访问压力过大是单机无法处理所有请求的问题，Elasticsearch集群引入了副本策略replica。副本策略对index中的每个分片创建冗余的.
Elasticsearch模块功能之-索引分片分配（Index shard allocation）
热门推荐
路漫漫其修远兮
08-06 2万+
1、分片分配                    包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例：                    设定有4个节点，每个的节点指定一个属性tag（可以随意修改），并赋予特定值，比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索
es动态分配分片_Elasticsearch模块功能之-索引分片分配（Index shard allocation）
weixin_27310417的博客
12-30 1646
Elasticsearch模块功能之-索引分片分配(Index shard allocation)http://www.bieryun.com/1903.html1、分片分配包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例：设定有4个节点，每个的节点指定一个属性tag(可以随意修改)，并赋予特定值，比如节点1设置为node...
ElasticSearch中的路由(_routing)机制
m0_37914467的博客
09-11 3693
ES中的路由（routing）机制决定一个document存储到索引的哪个shard上面去，即文档到shard的路由。计算公式为： shard_num = hash(_routing) % num_shards num_shards就是定义的分片数量 其中_routing是路由字段的值，默认使用文档的ID字段：_id。如果我们想自己控制数据的路由规则的话，那可以修改这个默认值。修改的方式非常简单，只需要在插入数据的时候指定路由的key即可。虽然使用简单，但有许多的细节需要注意。我们从一个例子看起（注
Elasticsearch：shard 分配感知
Elastic 中国社区官方博客
05-28 5874
你可以将自定义节点属性用作感知属性，以使Elasticsearch在分配分片时考虑物理硬件配置。 如果Elasticsearch知道哪些节点在同一台物理服务器上，在同一机架中或在同一区域中，则它可以分发主分片及其副本分片，以最大程度地减少发生故障时丢失所有分片副本的风险。 通过cluster.routing.allocation.awareness.attributes设置启用分片分配感知后，分...
ES document路由原理
mn_kw的博客
09-12 598
1. document路由到shard上是什么意思？ 一个index的数据会被划分为多片，每片都在一个shard中，所以说，一个document，只能存在于一个shard中，当客户端创建document的时候，es此时就需要决定说，这个document是放在这个index的哪个shard上，这个过程就是数据路由 2. 路由算法：shard = hash(routing)%number_of_pr...
ElasticSearch实战：从安装到生产应用探索
从1.0到2.0，分布式routing机制发生了重大变化，路由策略从基于mapping调整为跟随index动态分配，这样的改变旨在优化分布式存储，使得同一index的不同type可以选择更适合的shard。这对于处理大规模、多类型数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值