ES查询原理和timeout讲解

最新推荐文章于 2024-08-21 19:39:24 发布
最新推荐文章于 2024-08-21 19:39:24 发布
阅读量8.6k 收藏 3
点赞数
分类专栏： Elasticsearch 文章标签： timeout 查询请求 参数说明
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/paicmis/article/details/83722683
版权
本文介绍了ES查询的详细过程，从客户端发送请求到coordinate node，再到document路由和返回。讲解了搜索结果中的took、hits.total、hits.max_score等参数含义，以及timeout参数的作用。timeout决定了在指定时间内返回多少数据，过短可能导致部分数据未返回。最后讨论了multi-index和multi-type的搜索模式。
摘要由CSDN通过智能技术生成

ES的查询过程
1、客户端发送请求到任意一个node，成为coordinate node
2、coordinate node对document进行路由，将请求转发到对应的node(primary或者replicanode上)上，此时使用round-robin随机轮询算法，在primary shard以及其所有的replica中随机选择一个，让读请求负载均衡
3、接收请求的node返回document给coordinate node
4、coordinate node返回document给客户端
5、特殊情况：document如果还在建议索引过程中，可能只有primary shard有，任何一个replica shard都没有，此时可能导致无法获取到document。但是document完成索引建立之后，primary shard和replica shard就都有了

1、搜索出来的一大堆参数，每个参数具体是什么意思
took：表示整个搜索请求花费了多少毫秒
hits.total：本次搜索，返回了几条结果
hits.max_score：本次搜索的所有结果中，最大的相关度分数是多少。每一条document对于search的相关度，越相关，_score分数越大，排位越靠前
hits.hits：默认查询出前10条数据，完整数据，_score降序排序
shards：shard fail的条件,不影响其他shard。默认情况下来说，一个搜索请求，会打到一个inde

最低0.47元/天 解锁文章
Xlucas
关注
专栏目录
Flink原理与代码实例讲解
程序员光剑
06-08 1657
Flink原理与代码实例讲解 1.背景介绍 1.1 什么是Flink Apache Flink是一个开源的分布式流处理和批处理框架,由Apache软件基金会开发。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可
ES学习记录3——ES中Search接口
jacksonary的博客
09-27 9827
5. 搜索  ES提供了2中搜索方式： REST风格的请求URI，直接将参数带过去； 封装到request body中，这种方式可以定义更加易读的JSON格式；  通过REST风格URI搜索的案例如下： curl -X GET "localhost:9200/bank/_search?q=*&sort=account_number:asc&pretty"
Elasticsearch 数据搜索篇·【入门级干货】
xingoo
11-15 560
ES即简单又复杂，你可以快速的实现全文检索，又需要了解复杂的REST API。本篇就通过一些简单的搜索命令，帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计，但是可以帮助你理解ES，探寻更多的特性。 其他相关的内容参考：Elasticsearch官方文档翻译 样例数据 为了更好的使用和理解ES，没有点样例数据还是不好模拟的。这里提供了一份官网上的数据，account...
ES的介绍和使用
最新发布
weixin_45621552的博客
08-21 1697
​ Elastic Search 简称ES，是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。自定义查询的命名规则：方法名必须是其中之一开始，后面接字段名以及条件，条件之间的组合使用and或者or， 方法参数必须与使用的字段一一匹配//文章标题模糊查询，并且ID在给定的范围之内@Test。
Elasticsearch _search查询参数及过滤
Gabriel的博客
05-31 544
Elasticsearch查询与过滤常用参数及方法总结笔记
es search
weixin_30672295的博客
02-15 142
query string search GET /goods/produce/_search>>> { "took": 44,　　　　　　　　　　　　#耗费了几毫秒 "timed_out": false,　　　　　　　#是否超时 "_shards": {　　　　　　　　　　　#数据拆成了5个分片，所以对于搜索请求，会打到所有的primary shard（或者是它的某...
Elasticsearch Java High Level REST Client（Search API）
weixin_33965305的博客
10-29 588
Search API 搜索请求 SearchRequest用于与搜索文档、聚合、suggestions相关的任何操作，还提供了在结果文档上请求高亮的方法。 在最基本的表单中，我们可以向请求添加查询： SearchRequest searchRequest = new SearchRequest(); SearchSourceBuilde...
Elasticsearch系列---搜索执行过程及scroll游标查询
黄鹰的专栏
01-18 1537
概要 本篇主要介绍一下分布式环境中搜索的两阶段执行过程。 两阶段搜索过程 回顾我们之前的CRUD操作，因为只对单个文档进行处理，文档的唯一性很容易确定，并且很容易知道是此文档在哪个node，哪个shard中。 但搜索比CRUD复杂，符合搜索条件的文档，可能散落在各个node、各个shard中，我们需要找到匹配的文档，并且把从各个node，各个shard返回的结果进行汇总、排序，组成一个最终的结果排...
Elasticsearch为什么快？
qq_35789269的博客
02-09 1604
左侧是MySql安装文件的data目录，右侧使我们使用数据库客户端打开数据库后的样式，左侧文件分别对应了右侧数据库中的数据库名，我们以“mysql”这个数据库为例，文件夹中每个文件都有若干个不同后缀的同名文件，分别对应右侧某个数据表，不同的后缀代表不同的数据类型，其中.frm文件代表当前文件存储的是数据表的表结构，.MYD和.MYI文件则代表了当前文件是myisam存储引擎下的数据文件和索引文件，.ibd则代表当前文件是innodb存储引擎下的索引文件，只不过innodb的数据和索引使用了同一个文件。
Flink流处理框架原理与代码实例讲解
程序员光剑
06-19 720
Flink流处理框架原理与代码实例讲解 1. 背景介绍 1.1 大数据时代的到来 随着互联网、物联网、移动互联网等新兴技术的快速发展,海量的数据正以前所未有的速度被生成。这些数据包括网络日志、物联网设备数据、社交媒体内容等,呈现出巨
Elasticsearch查询参数介绍
qq_24487005的博客
04-06 6111
因为项目需要调用api查询elasticsearch拿数据，这边记录一下项目中常用的一些查询参数 es的查询接口为： GET /索引名/_search 一、常用查询关键字 1、match match是模糊匹配查询，根据分词器(如果创建mapping没有指定分词器，Es将会采取默认的分词器:standard,standard分词将会把匹配的词组分成单个的字,而不是短语)将指定的query查询的语句进行分词匹配。 查询索引中name为Tom的文档： { 'query': { ..
es搜索引擎
w2767526928的博客
05-11 859
配置 """ es 引擎相关 """ from elasticsearch import Elasticsearch es = Elasticsearch("http://101.42.224.35:9200/") class ES(object): """ es 对象 """ def __init__(self, index_name: str): self.es = es self.index_name = index_name def get_doc(self, ui
ElasticSearch各类查询参数
小太阳啊凯的博客
08-26 1195
一、must, must not,should的区别 must 返回的文档必须满足must子句的条件，类似于 == and must not返回的文档必须不满足must not 子句的条件 类似于!= not should 返回的文档只要满足should中的一个条件即可 类似于 || or 二、各类查询参数 term 相当 text 片段 prefix 前缀 wildcard ...
ES数据查询
热门推荐
rusuo_1995的博客
10-08 2万+
转载自：ES基本查询语句教程 - @ 小浩 - 博客园 1.ES是基于Apache Lucene的开源分布式（全文）搜索引擎。 es除了全文搜索引擎之外，还可以这样描述它： 1、分布式的实时文件存储，每个字段都被索引并可被搜索 2、分布式的实时分析搜索引擎 3、可以扩展到成百上千台服务器，处理PB级结构化或非结构化数据。 ES的数据组织类比 Relational DB Elasticsearch 数据库（database） 索引（indices） 表（tables）
ES 28 - search timeout机制
xiangjai的专栏
10-22 260
例如 GET bank/_search?timeout=1s 结果 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1000, "relation" : "eq" },
Elasticsearch ReadTimeoutError Read timed out
xdshust的博客
03-12 5343
success, errors = bulk(self.es, self.set_data()) File "/home/dxi/PycharmProjects/OEMDB/venv/lib/python3.5/site-packages/elasticsearch/helpers/__init__.py", line 257, in bulk for ok, item in ...
Elasticsearch（Es搜索（简单使用、全文查询、复合查询）、地理位置查询、特殊查询、聚合操作、桶聚合、管道聚合)
weixin_43360488的博客
09-24 3222
match_phrase_prefix 是针对分片级别的查询，假设 max_expansions 为 1，可能返回多个文档，但是只有一个词，这是我们预期的结果。有的时候实际返回结果和我们预期结果并不一致，原因在于这个查询是分片级别的，不同的分片确实只返回了一个词，但是结果可能来自不同的分片，所以最终会看到多个词。换句话说，上面的查询和下面的查询等价。即 term 查询，就是根据词去查询，查询指定字段中包含给定单词的文档，term 查询不被解析，只有搜索的词和文档中的词精确匹配，才会返回文档。
ES timeout 的一些笔记
weixin_30436891的博客
12-09 156
首先解释下Timeout的作用： 比如，一个search，可能要10分钟才能搜完，那么，es就会等10分钟，直到结果出来。然而，在某些场景下，客户是等不了10分钟的。比如，淘宝搜东西的时候，客户宁可等待1秒钟，得到100条结果，也不愿意等10分钟，看到10000条结果。 所以，我们会在search上指定timeout时间，超过指定时间，就开车了（给用户返回已经搜到的数据）。。 ...
elasticsearch 查询和插入原理
04-27
Elasticsearch 的查询和插入原理如下： 1. 查询原理： 查询请求先发送到客户端，客户端将请求发送给 Elasticsearch 集群中的任一节点，该节点将请求转发给相关的分片，每个分片都是一个 Lucene 索引，它们执行查询...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值