Elasticsearch读(查询)数据的过程

最新推荐文章于 2024-08-25 17:11:33 发布
最新推荐文章于 2024-08-25 17:11:33 发布
阅读量1.7k 收藏 1
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bianyamei/article/details/50386156
版权
es可以通过doc id来查询,会根据doc id进行hash,判断出来当时把doc id分配到了哪个shard上面去,从那个shard上去查询.
1.客户端发送请求到任意一个node,成为协调节点.
2.协调节点对doc id进行哈希路由,将请求转发到对应node,此时会使用rund-robin随机轮询算法,在primary shard以及其所有replica中随机选择一个,让读请求负载均衡.
3.接收请求的node返回document给协调节点.
4.协调节点返回document给客户端.
bianyamei
关注
专栏目录
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
程序员路同学
04-22 1574
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
Elasticsearch写入数据的过程是什么？以及是如何更新索引数据的
ygk004的博客
11-19 508
前言 最近面试过程中遇到问Elasticsearch的问题不少，这次总结一下，然后顺便也了解一下Elasticsearch内部是一个什么样的结构，毕竟总不能就只了解个倒排索引吧。本文标题就是我遇到过的两个问题，所以此次基本上只是围绕着这两个问题来总结。 ES写入数据 在介绍写入数据的过程时，先明确一下ES中的一些关键性的概念： Clouster：集群，由一到N个Elasticsearch服务节点组成。 Node：节点，组成Elasticsearch集群的基本单元，单个集群内节点名称唯一。通常一个节
ElasticSearch查询流程
qq_18837975的博客
06-26 674
ElasticSearch 查询分为两个阶段： 第一个阶段：分散阶段 第二个阶段：合并阶段 客户端可以向任何一个节点发送请求，当一个节点接收到请求时，这个节点就变成了协调节点，这个节点的任务是广播查询请求到所有相关分片并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。 查询示例： GET index_test_tp_01/_search { "query": { ...
elasticsearch的查询流程分析
三劫散仙
04-02 9886
我们都知道es是一个分布式的存储和检索系统，在存储的时候默认是根据每条记录的_id字段做路由分发的，这意味着es服务端是准确知道每个document分布在那个shard上的。相对比于CURD上操作，search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上都有可能，所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们...
es基本使用之查询数据
最新发布
jggnice的博客
08-25 120
如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！」许可协议进行许可。
Elasticsearch查询过程
the Blog of Forward
08-04 828
本文介绍了es的分布式search的查询流程分为query和fetch两个阶段，在query阶段会从所有的shard上读取相关document的docId及相关的排序字段值，并最终在coordinating节点上收集所有的结果数进入一个全局的排序列表后，然后获取根据from+size指定page页的数据，获取这些docId后再构建一个multi-get请求发送相关的shard上从_source里面获取需要加载的数据，最终再返回给client端，至此整个search请求流程执行完毕。......
【分布式搜索引擎】Elasticsearch写入和读取数据过程
男儿当自强
04-23 578
一、Elasticsearch写人数据的过程 1）客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点） 2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard） 3）实际的node上的primary shard处理请求，然后将数据同步到replica node 4）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客
ElasticSearch 数据读写
weixin_48922154的博客
12-23 1751
Master 节点会维护一个 in-sync group，里面包含所有同步了最新数据的副本，每个分片有一个唯一标识 Allocation ID，如果某分片主副本异常，会从这些分片中选取新的主副本，来保障主副本有最新的数据。数据节点则执行真正的数据读取。通过 Primary Terms 和 Squence Numbers 来校验分布式场景的数据的一致性，以及进行数据的矫正，类似 Raft 的 terms 和 index。ES 一个索引会拆成多个分片，每个分片又有多个副本，对于文档的添加删除都是同步写的。
ElasticSearch写入数据和查询数据的过程
heima201907的博客
10-30 772
Es写数据过程1）客户端选择一个node发送请求过去，这个node就是coordinating node，协调节点，对document进行路由，将请求转发给对应的node2）实际的node上的primary shard处理请求，然后将数据同步到replica node3）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客...
canal-mysql-elasticsearch:通用的数据导入功能，实现canal导入mysql数据至es，提供查询的分布式性能
05-09
canal_mysql_elasticsearch_sync 支持请star:sparkles: 基于 canal 的 Mysql 与 Elasticsearch 实时同步的 javaweb 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 工作原理 全量 暴露Http接口...
elasticsearch 搜索过程
qingqingdianshui的博客
02-02 469
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-search-type.html#dfs-query-then-fetch 查询类型(参数search_type指定)：  （一）        query_then_fetch  分为两个阶段：  1）        协调节点将请求发送到与
elasticsearch 查询过程
ycccsdn的博客
09-13 1577
背景 学习elasticsearch查询流程，了解es源码。在网络上看了很多elasticsearch的教程。对es的流程介绍都是停留在query then fetch层面。没有一篇真正细致的深入到流程的每一步。本篇博客旨在细致的介绍es search过程的整个调试流程，介绍的是query then fetch的流程。所以，默认对es有一定理解，且能搭建一个本地的调试环境。 请带着以下问题去读本篇文章。 elasticsearch client是如果发送请求的，又是如何接受和处理返回的结果？ 协调节点的接
ES分布式搜索原理分析
发现问题，面对问题，分析问题，解决问题，总结问题
11-10 2239
文章目录基本介绍查询阶段取回阶段 基本介绍 一个CRUD操作只处理一个单独的文档。文档的唯一性由_index, _type和routing-value（通常默认是该文档的_id）的组合来确定。这意味着我们可以准确知道集群中的哪个分片持有这个文档。 找到所有匹配的文档只完成了这件事的一半。在搜索（search）API返回一页结果前，来自多个分片的结果必须被组合放到一个有序列表中。因此，搜索的执行过程分两个阶段，称为查询然后取回（query then fetch）。 在初始化查询阶段（query phase），
Elasticsearch入门----数据读/写流程
老王的博客
11-24 1279
elasticsearch数据写入流程： 1、客户端发起数据索引（写入）请求，可以发送至集群中的任一节点，该节点会成为协调节点（coordinating node）。 2、通过hash计算出文档要写入的主分片，协调 节点根据路由将请求转发至对应的主分片（primary sharding） 所在的数据节点（data node） 。 3、数据节点 节点上的主分片处理请求，写入文档到索引库，并将数据同步到对应的副本分片（ replica sharding）。 4、等待主分片和 副分片都保存好文档后，返回客
elasticsearch的3个基本问题之读取数据
蒜蓉粉丝蒸扇贝的专栏
04-20 1597
如何从ES读取数据，包括两种方式，直接获取和通过搜索获取 1. 直接获取 GET index/type/ID的方式可以直接获取到某个index下的某个type的，文档ID是ID的doc。e.g. curl -XGET http://10.19.26.43:9200/nats-log-2016-04-20/logs/AVQvYyK6aK8LxcWQ324f and the r
Elasticsearch学习-ES中文档查询流程是怎样的？
weixin_45701550的博客
06-19 2201
在ES中查询分为两类：1.基于文档ID查询，2.按照非文档ID查询。当执行如下查询时： ES在执行上述查询的具体过程如下：1、客户端向 Node 1 发送获取请求，此时Node1为协调者节点。2、协调者节点使用文档的 _id 来确定文档属于分片 0 。分片 0 的副本分片存在于所有的三个节点上。 在这种情况下，它将请求转发到 Node 2 。3、Node 2 将文档返回给 Node 1 ，然后将文档返回给客户端。在处理读取请求时，协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均衡。在文档被检索
数据在Elasticsearch的完整读写流程，掌握到这个程度面试以及生产环境差不多就够用了
microGP的专栏
07-22 1520
前言 看到标题以后大家有些人可能感觉有点小题大做，毕竟cilent端几行代码就能解决的问题，没必要兴师动众的来仔细讲一下。其实如果你仅仅想使用一下elasticsearch的功能，并不追求性能以及高可用性，那么这么想无可厚非。 但是如果想在生产环境下使用elasticsearch，尤其是高并发高吞吐量的场景下，那么性能优化和高可用性就不可或缺了，要做到上面两点那么数据读写这两个操作的优化是必不可少的。古语有云：“工欲善其事，必先利其器”。想优化这两个操作，必须先了解这两个操作的原理。 曾经有一个大神说
ElasticSearch查询流程详解
IT巅峰技术专栏
05-12 2315
一、前言 前面已经介绍了ElasticSearch的写入流程，了解了ElasticSearch写入时的分布式特性的相关原理。ElasticSearch作为一款具有强大搜索功能的存储引擎，它的读取是什么样的呢？读取相比写入简单得多，但是在使用过程中有哪些需要我们注意的呢？本篇文章会进行详细的分析。 在前面的文章我们已经知道ElasticSearch的读取分为两种GET和SEARCH。这两种操作是有一定的差异的，下面我们先对这两种核心的数据读取方式进行一一分析。 二、GET的流程 2.1 整体流程
datax二次开发Elasticsearch读插件
08-02
DataX是一个用于数据同步的开源工具，它提供了丰富的插件来支持不同的数据源和目标。根据引用[2]，DataX插件的开发模式是基于Record的抽象，各个插件只需要按照规范进行开发即可。引用[3]中提到，DataX的打包成功后的包结构中包含了插件目录。 对于Elasticsearch读插件的二次开发，你可以参考DataX的插件开发规范和文档。首先，你需要了解Elasticsearch的数据结构和API，以便在插件中进行数据读取操作。然后，你可以在DataX的插件目录中创建一个新的插件目录，并按照规范进行插件的开发。在插件的配置文件中，你需要指定Elasticsearch的连接信息和查询条件等参数。 在插件的开发过程中，你可以使用DataX提供的各种工具和接口来简化开发和测试。例如，你可以使用DataX的RecordReader接口来读取Elasticsearch中的数据，并将其转换为DataX的Record对象。你还可以使用DataX的各种工具类来处理数据转换和批量写入等操作。 最后，你可以使用DataX的命令行工具来运行你开发的插件，并通过配置文件指定插件的参数和数据源信息。例如，你可以使用类似于引用[1]的命令来运行你的Elasticsearch读插件，并指定数据源的路径和插件的配置文件。 总结起来，要进行DataX的Elasticsearch读插件的二次开发，你需要了解Elasticsearch的数据结构和API，按照DataX的插件开发规范进行插件的开发，使用DataX的工具和接口简化开发和测试，最后使用DataX的命令行工具来运行你开发的插件。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值