走近 ElasticSearch （四）——搜索机制与聚合分析

最新推荐文章于 2022-08-24 11:09:27 发布
最新推荐文章于 2022-08-24 11:09:27 发布
阅读量719 收藏
点赞数
分类专栏： 云计算/大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deaidai/article/details/105932910
版权
本文深入探讨ElasticSearch的搜索机制，包括搜索过程分解、相关性算分、排序和分页策略。同时，详细阐述了聚合分析的各个方面，如Metric、Bucket、Pipeline聚合，及其在不同场景的应用。
摘要由CSDN通过智能技术生成

一、前言

走近 ElasticSearch （一）—— 基本概念与架构设计
走近 ElasticSearch （二）—— Document概念、倒排索引原理与分词
走近 ElasticSearch （三）—— Mapping设计与 Search API 介绍
走近 ElasticSearch （四）—— 搜索机制与聚合分析

二、ES Search 的运行机制

ES的搜索过程如下：在这里插入图片描述
看起来很简单的图，在我们 ES 集群中进行搜索，其实并没有那么简单。

1. 搜索过程分解

Search 执行的时候实际分两个步骤运作的：查询(Query) 和 获取(Fetch)

  • 查询阶段(Query Phase):在此阶段,协调节点(Coordinating Node)将搜索请求路由到索引(index)中的所有分片(shards)(包括
最低0.47元/天 解锁文章
HyperDai
关注
专栏目录
图解 ElasticSearch 搜索原理
hellozhxy的博客
10-10 362
摘要 先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，试图回答以下问题： 为什么我的搜索 *foo-bar*无法匹配foo-bar？ 为什么增加更多的文件会压缩索引（Index）？ 为什么ElasticSearch占用很多内存？ 版本 elasticsearch版本: elasticsearch-2.2.0 内容 图解ElasticSearch 云上的集群 集群里的盒子 云里面的每个白色正方形的盒子代表一个节点——Node。 ...
ElasticSearch——搜索机制
weixin_34248023的博客
11-27 507
在个人的实践中，ElasticSearch是充当关系型数据库来使用，将Mysql中数据过大的超过1000w的表存入ES中，所以使用的全部是确切词查询而非全文检索，因此在本次ES的学习中忽略了与全文检索相关如得分等相关特性，这些在后续的有关搜索引擎的实践中会介绍。 在这张脑图中主要介绍的是搜索相关的一些机制。下面会对该图做一些简单的说明。 简单查询 前文说过ES的操作都是基于JSON来控制的，那么...
ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)
xiangjai的专栏
10-17 6964
目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0, // 不显示命..
Elasticsearch-排序及DocValues&&FieldData
qq_44447372的博客
04-05 364
目录 排序 排序过程 Doc Values VS Field Data 关闭 Doc Values 排序 ES默认采用相关性算分对结果进行降序升序 可以通过设定sorting参数,自行设定排序 如果不指定_score,算分为null "order_data":排序字段;"order":排序的方 对类型为text的字段排序 只有当fielddate设为tue时才可以对类型为text的字段进行排序 排序过程 排序是针对字段原始.
ES-排序及Doc Values &FieldData
qq_43045747的博客
07-24 586
排序的过程 排序是针对字段原始内容进行的，倒排索引无法发挥作用 需要用到正排索引，通过文档Id和字段快速得到字段原始内容 ES有两种实现方法 feilddata：搜索时动态创建，使用大量内存和cpu，但是索引速度快 doc values（列式存储 对text无效）：新增文档时创建，占用存储空间，索引速度慢，但是减少了内存的占用 默认开启，可以通过mapping进行关闭，关闭后该字段不可进行排序和聚合，但是搜索速度快，占用空间小，只有明确该字段不需要进行排序和聚合的时候才可以对该字段关闭doc v
走近 ElasticSearch （三）——Mapping设计与 Search API 介绍
Daioo 随笔
05-30 1212
一、前言 （知识搬运工 走进 ElasticSearch （一） 走进 ElasticSearch （二） 二、Mapping 类似数据库中表结构定义，主要作用如下： 定义 Index 下的字段名（Field Name） 定义字段的类型，比如数值型、字符串型、布尔型等 定义倒排索引相关的配置，比如是否索引、记录 position 等 1. 自定义 mapping 查看 Mapping api：...
走近 ElasticSearch （二）——Document概念、倒排索引原理与分词介绍
Daioo 随笔
05-30 949
一、前言 （知识搬运工 二、Document 介绍 1. Document 数据类型 Json Object，由字段（Field）组成，常见数据类型如下： 字符串: text, keyword 数值型: long, integer, shot, byte, double, float,haf_float, scaled_float 布尔: boolean 日期: date 二进制: binary...
搜索引擎——ElasticSearch汇总
alonewolf_99的博客
03-12 1445
汇总——ElasticSearch篇 全文检索 问题1：什么是全文检索？ 基本概念：对**非结构化数据/结构化数据**先建立**索引**，再对索引进行搜索**文档**的过程叫做全文检索。 什么是非结构化与结构化数据？ - 非结构化数据：没有固定的格式的数据（html，word，excel）---没有固定长度，字段约束，描述，散列数据 - 结构化数据：有固定的格式的数据（如：数据库数据）---有固定长度（varchar（50）），字段类型，描述修饰数据 搜索算法：顺序扫描法、倒排索引法 - 顺序
Elasticsearch简介与在springboot中使用
JemeryShen的专栏
08-24 1123
​ 如果用数据库做搜索会怎么样Elasticsearch 是一个开源的（分布式）搜索引擎 （分析系统） 是一个分布式的开源搜索和分析引擎，在 Apache Lucene 的基础上开发而成。Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎既是搜索引擎又是数据库【非关系型数据库】，不支持事务、复杂的关系（至少1.X版本不支持，2.X有改善，但支持的仍然不好）1、自动维护数据的分布到多个节点的索引的建立，还有搜索请求分布到多个节点的执行 2、自动维护数据的冗余副本，保证了一旦机器宕机，不会丢
ES搜索聚合计算精度问题解决
明明
05-10 2525
需要注意以下两点 1.访问ES搜索返回数据有通过doc或者params 两种方式。如果数据是浮点类型则必须使用params['_source']['name'] 方式进行范围，doc['name']方式会精度丢失。 2.使用ES聚合函数或者计算时候请先把浮点类型转成整形计算，否则聚合后也会出现精度丢失。 例子如下：如果money是有两位小数。 "sum": { "script": { "lang":"painless" "inline":"def...
eval ssei 是什么 版_elasticsearch
weixin_36462387的博客
03-04 221
Elasticsearch索引拆分方案[TOC]一、概况项目中，由于Elasticsearch单个索引数据量大，索引中部分数据不常用，在搜索和写入文档时，效率较低。为了减小单个索引的数据量，提升搜索和文档写入效率，将大索引根据一定的规则拆分为小的索引。拆分索引的关键点在于建立索引，文档同步，多索引搜索。建立索引的关键问题是索引的设置以及字段的属性设置，最常见的问题是，某个字段我们希望Elastic...
Elasticsearch聚合后分页深入详解
热门推荐
铭毅天下Elasticsearch
01-20 6万+
1、Elasticsearch支持聚合后分页吗，为什么？ 不支持，看看Elasticsearch员工如何解读。 这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下： 1）性能角度——聚合分页会在大量的记录中产生性能问题。 2）正确性角度——聚合的文档计数不准确。 所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计
Elasticsearch系列---聚合查询原理
weixin_45120972的博客
04-17 315
概要 本篇主要介绍聚合查询的内部原理，正排索引是如何建立的和优化的，fielddata的使用，最后简单介绍了聚合分析时如何选用深度优先和广度优先。 正排索引 聚合查询的内部原理是什么，Elastichsearch是用什么样的数据结构去执行聚合的？用倒排索引吗？ 工作原理 我们了解到倒排索引对搜索是非常高效的，但是在排序或聚合操作方面，倒排索引就显得力不从心，例如我们举个实际案例，假设我们有两个文档...
elasticsearch 聚合统计效率测试
q1035331653的博客
12-10 2346
elasticsearch 的介绍 就不啰嗦，大家可以上官网看。官网地址如下： What is Elasticsearch? | Elasticsearch Guide [7.16] | Elastic 因为最近做的业务，数据结构比较复杂 而且量大，因为查询 聚合统计问题，最后考虑 适用elasticsearch 提升业务功能查询统计效率。 环境版本 spring-boot-starter-parent 2.1.13.RELEASE spring-boot-starter-data-ela
ES的searchAfter使用详解
weixin_45583482的博客
03-03 1万+
searchAfter简单来说就是将from。。。size中的from用searchAfter的sort字段表示，通过不断更新此sort字段实现向下滚动效果。但是和from不同的是对数据更新不敏感。 search after官网介绍 使用search_after时要求你的query值和sort值相同。更具体点是要求你的字段相同，你可以修改它的逻辑，比如你可以查时间为a的数据，那么你将逻辑改为比a大或者比a小都可以，但是你的逻辑必须是时间。sort同理，你可以升序也可以降序但你用来排序的字段不要变。 sea
ElasticSearch查询之聚合查询
qq_15058425的博客
05-07 1515
一、ES的demo数据如下： 二、简单聚合，获得平均分 GET /student/student/_search { "aggs": { "avg_score": { "avg": { "field": "score" } } } } 查询结果： java实现： /** * 聚合查询avg * *GET /s...
java实现es的search after查询（三种方式详解）
m0_50008952的博客
03-17 1万+
一、概念说明 1、form size查询 "浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。 其中，from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。 性能上：越往后的分页，执行的效率越低。总体上会随着from的增加，消耗时间也会增加。而且数据量越大，就越明显！ 注意：因为es是基于分片的，假设有5个分片，from
【ES】ES 运用search_after来进行深度分页
九师兄
10-06 3415
1.概述 转载：https://www.cnblogs.com/sanduzxcvbnm/p/12085212.html es分页查询的两种方法： from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言，我们尽量避免使用from+size这种方法。这里的原因是index.max_result_window的默认值是10K，也就是说from+size的最大值是1万。搜索请求占用堆内存和时间与from+size成比例，这限制了内存。假如你想hit从990到1000，那么每.
5年+ Elasticsearch 电商实战经验深度复盘
铭毅天下Elasticsearch
01-25 5951
1、我的搜索心路历程回顾自己过去的5年，从一名后端开发工程师，自我摸索、学习、探究，成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段，可简要概括为：（1）关键词搜索、（2）相关性...
ElasticSearch 实战：结构化搜索与聚合分析
"Elasticsearch 学习案例，包含结构化搜索和深度聚合分析的实践" 在Elasticsearch的学习过程中，了解并掌握其核心概念和技术是非常关键的。本案例主要涉及了结构化搜索和深入的聚合数据分析，让我们逐一探讨这些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值