Elasticsearch2.x Filter执行流程及缓存原理

Elasticsearch2.x Filter执行与缓存解析
最新推荐文章于 2024-06-26 22:15:00 发布
原创 最新推荐文章于 2024-06-26 22:15:00 发布 · 5.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Elasticsearch #TermQuery #原理分析 #缓存

本文详细介绍了Elasticsearch2.x中Filter的执行流程和缓存原理，包括Filter的Query和Filter Context，基本查询过程，位图（bitset）的创建和迭代，以及Filter Cache的工作机制。强调了Filter在非评分查询中的作用，以及如何通过位图优化查询效率和缓存策略。

一、基本概念

这里说的Filter非Post filter，关于Post filter这里不做介绍，我们主要关注的是在执行一个评分查询前执行的Filter。

在讲述ES Filter的执行流程和缓存原理之前，有几个概念我们必须要清楚。

Query and Filter context 

官网地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html

1. Query Context

所谓查询上下文，是指包含一个或多个查询条件的逻辑组合，QueryContext里包含的的单个查询表示的含义是“文档和该查询条件的匹配度有多大”，针对QueryContext里的每一个查询都会计算出一个_score来表示匹配度，整个QueryContext的匹配度评分等于其包含所有单个查询评分的总和，所以针对一个Query我们更多关注的是匹配度。

2.Filter Context

过滤器上下文和查询上下文类似，都是由1个或多个子查询(Query clause) 组成的。他们的区别在于Filter不会计算文档得分，它代表的含义是“文档和该查询条件是否匹配”，所以针对一个Filter我们更多关注的是能否可以过滤掉文档，返回的结果只能是可以或者不可以（true or false）。

二、基本查询

在写基本查询前我们先创建一个索引（my_store）和一个类型（products）并插入4条product数据 <
最低0.47元/天 解锁文章
Elasticsearch 9.x 中AI功能
maxcode
07-16 248
摘要： Elasticsearch 9.x通过深度集成AI技术实现全面升级，核心包括：1）基于Lucene 10的智能并行索引与硬件优化，提升40%搜索吞吐；2）新增LLM可观测性模块，监控生成式AI成本、性能与安全；3）支持多模态语义检索，结合semantic_text字段与BBQ量化技术，十亿级向量查询延迟降至60ms；4）开放推理API无缝接入第三方模型；5）ES|QL语言增强AI查询能力；6）AI驱动的安全分析实现自动化威胁检测。该版本成为企业构建智能搜索与安全分析的一体化平台。
[ElasticSearch2.x]Filter之Filter原理
SmartSi
05-17 3259
1. FilterBuilders废弃org.elasticsearch.index.queries.FilterBuilders从ElasticSearch2.0开始已被删除，作为查询和过滤器组合的一部分。 这些过滤器现在可以在QueryBuilders中使用具有相同名称的方法。所有可以接受FilterBuilder的方法现在也可以接受QueryBuilder。以前使用方式：FilterBuil
ES 核心--结构化搜索 filter 执行原理（Bitset 和 Caching 机制）、bool组合多个filter来索引数据
chooser007的博客
07-15 558
1、filter执行原理见：https://blog.csdn.net/miaomiao19971215/article/details/105487446 2、搜索提交日期为2021-07-11，或者文章id为XHEX-A-3412-#f234的文章，同时要求文章的提交日期绝对不为2021-06-11 must :必须匹配 must_not: 必须不匹配 should:可以匹配一个或者多个 GET /forum/article/_search { "query": { "const
Elasticsearch Filter执行原理
爱喝咖啡的程序员的博客
04-13 1822
Filter执行原理一. 执行流程1.1 构建bitset1.2 遍历bitset1.3 缓存bitset二. 执行特性2.1 query和filter的执行顺序2.2 bitset cache auto_update2.3 bitset cache应用的时机 filter底层原理涉及到两块内容: bitset机制和cache机制。 一. 执行流程 假设现在有一批数据的倒排索引如下: Wo...
ES Filter 执行原理及Cache机制深入剖析-搜索系统线上实战
weixin_30379973的博客
08-09 892
本套技术专栏作者（秦凯新）专注于大数据及容器云核心技术解密，具备5年工业级IOT大数据云平台建设经验，可提供全栈的大数据+云原生平台咨询方案，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。详情请关注《数据云技术社区》公众号。 1 如何倒排索引 date来举例 word doc1 doc2 doc3 20...
ElasticSearch的filter原理深度剖析
happy19870612's blog
11-17 3045
# 首先在倒排列表中匹配字符串，返回文档列表 # 然后为每一个匹配到的文档列表构建一个bitset。[0,1,0,0,1]等 用来标志一个文档是否对一个filter条件匹配，如果匹配就是1，否则就是0 # 接着遍历每一个过滤条件对应的bitset，优先从最稀疏的索引开始搜索，查找满足所有条件的document 所谓稀疏索引：就是0比较多1比较少的情况的索引。 一次性其
一文掌握新版ElasticSearch8.X+SpringBoot3.X+JDK17最佳实践，常见搜索API使用和性能优化
二当家小D的学习资源库
04-19 4456
0基础快速上手ElasticSearch8.X+SpringBoot3.X+JDK17，常见API使用和性能优化
ElasticSearch8.X查询DSL语法案例进阶实战
qq_41934990的博客
06-26 1284
Query DSL主要由两部分组成：查询和过滤。查询部分：用于指定搜索条件和匹配规则。例如，可以使用match查询进行全文检索，term查询进行精确匹配，range查询进行范围匹配等。过滤部分：用于对查询结果进行进一步的筛选和过滤。与查询查询不同，过滤查询不会影响得分计算，只是对结果进行简单的筛选操作。fuzzy查询是Elasticsearch中提供的一种模糊匹配查询类型，用在搜索时容忍一些拼写错误或近似匹配使用fuzzy查询，可以根据指定的编辑距离（即词之间不同字符的数量）来模糊匹配查询词。
Elasticsearch的filter的caching（缓存）机制详解
大JAVA解决方案
06-30 1299
编程界的小学生2017-12-27 07:50:54 直接举例说明 1.假设现在要在倒排索引中去搜索字符串（xxx） 比如如下有个倒排索引列表： 我现在要搜索：2017-02-02 去倒排索引中找，发现对应的document list是doc2和doc3 2.为每个在倒排索引中搜索到的结果，构建一个bitset 使我们找到的doc list构建一个bitset，就是一个二进制数组，数组每个元素都是0或1。用来标识一个doc对一个filter条件是否匹配，如果匹配就是1，不匹配就...
elasticsearch 笔记十四：_filter 和query 相关原理
qzqanzc的博客
10-25 286
GET /company/employee/_search { "query":{ "must":[ "match":{ "join_date": "2016-01-01" } ], "filter":{ "range&
白话Elasticsearch02- 结构化搜索之filter执行原理bitset机制与caching机制
热门推荐
小工匠
05-12 2万+
文章目录概述 概述 白话Elasticsearch01- 使用term filter来搜索数据中演示了 term filter的用法，这里我们来剖析下执行原理
es的range过滤_【ES从入门到实战】十五、全文检索-ElasticSearch-进阶-filter过滤
weixin_42506647的博客
01-14 596
接第14节6)、filter 【结果过滤】并不是所有的查询都需要产生分数，特别是那些仅用于 "fitering" (过滤)的文档。为了不计算分数 Elasticsearch 会自动检查场景并且优化查询的执行。在 filter 元素下指定的查询对得分没有影响-得分以 0 形式返回。分数仅受指定查询的影响。以 must 查询为例：GET /bank/_search{"query": {"bool": ...
Elasticsearch 结构化搜索_filter执行原理深度剖析（bitset机制与caching机制）与过滤查询
zx711166的博客
08-21 741
Filter查询 filter是不计算相关性的，同时可以cache。因此，filter速度要比query快。 //创建索引并写入数据 POST /lib4/items/_bluk {&amp;amp;amp;amp;quot;index&amp;amp;amp;amp;quot;: {&amp;amp;amp;amp;quot;_id&amp;amp;amp;amp;quot;: 1}} {&amp;amp;amp;amp;quot;pric
Elasticsearch 缓存深度剖析：一次提高一种缓存的查询速度
Elastic 中国社区官方博客
02-11 1388
原文：Elasticsearch 缓存深度剖析：一次提高一种缓存的查询速度 | Elastic Blog 缓存是加快数据检索速度的王道。因此，如果您有兴趣了解 Elasticsearch 如何利用各种缓存来确保您尽可能快地检索数据，请仔细研读这篇博文，接下来的内容全是干货。本篇博文将阐释 Elasticsearch 的各种缓存功能，这些功能可帮助您在进行初始数据访问后更快地检索数据。Elasticsearch 是使用各种缓存的大户，但在本篇博文中，我们将只着重介绍以下三种： 页缓存（有时称为文件系统缓存
elasticsearch内存占用详细分析
Angus
03-27 8148
内存占用 ES的JVM heap按使用场景分为可GC部分和常驻部分。 可GC部分内存会随着GC操作而被回收； 常驻部分不会被GC，通常使用LRU策略来进行淘汰； 内存占用情况如下图： common space 包括了indexing buffer和其他ES运行需要的class。indexing buffer由indices.memory.index_buffer_size参数控制， 默认最大占用10%，当full up后，该部分数据被刷入磁盘对应的Segments中。这部分空间是可以被回收
[es-6.5.4] QueryCache/RequestCache
chunji6513的博客
06-17 310
https://opensourceconnections.com/blog/2017/07/10/caching_in_elasticsearch/ 零、数据准备 https://www.elastic.co/guide/en/kibana/7.1/tutorial-load-datas...
ElasticSearch
w_k_x110的博客
07-26 1686
【ElasticSearch】持续更新...
ES6中使用filter进行条件过滤以及其执行效率
guxuhua123_01的博客
09-29 4983
ES6中有一个相较于以前版本很大的一个改动：箭头函数，书面说法是叫做lambda表达式，最开始出现于python中，后来慢慢的在其他的编程语言中被推广开，JS中对于箭头函数的支持，则是在ES6推出了以后，典型的场景如下： /* jshint esversion:6 */ // 导入fs模块 const fs = require('fs'); // 目标文件 const file_name = ...
Elasticsearch 8.x API 创建一个 boolQuery
最新发布
07-29
<think>我们正在使用Elasticsearch 8.x的Java API客户端。在Elasticsearch中，布尔查询（bool query）是一种组合查询，它可以将多个查询组合在一起，使用布尔逻辑（must, should, must_not, filter）来构建复杂的查询条件。 根据Elasticsearch 8.x的官方Java API客户端文档，创建布尔查询的步骤如下： 1. 构建布尔查询的各个部分（must, should, must_not, filter），这些部分都是查询（Query）对象。 2. 使用`BoolQuery.of(b -> b.must(...).should(...).mustNot(...).filter(...))`来构建布尔查询。 3. 将构建好的布尔查询作为搜索请求的一部分。 注意：在Elasticsearch 8.x中，Java API客户端使用了全新的构建器模式，该模式是强类型的，并且利用了Java的函数式编程特性。 下面是一个具体的示例，展示如何创建一个布尔查询： 假设我们想要查询满足以下条件的文档： - 必须（must）包含字段"title"中包含"Elasticsearch"的文档（使用match查询） - 必须（must）包含字段"content"中包含"Java"的文档（使用match查询） - 应该（should）包含字段"tags"中包含"latest"的文档（使用term查询），并且满足至少一个should条件（这里只有一个，所以满足即可） - 必须不（must_not）包含字段"status"为"inactive"的文档（使用term查询） - 过滤（filter）条件：字段"create_time"在2023年之后（使用range查询） 以下是使用Elasticsearch 8.x Java API客户端创建该布尔查询的代码： ```java import co.elastic.clients.elasticsearch._types.query_dsl.BoolQuery; import co.elastic.clients.elasticsearch._types.query_dsl.Query; import co.elastic.clients.elasticsearch._types.query_dsl.MatchQuery; import co.elastic.clients.elasticsearch._types.query_dsl.TermQuery; import co.elastic.clients.elasticsearch._types.query_dsl.RangeQuery; import co.elastic.clients.util.ObjectBuilder; import java.io.IOException; import java.time.OffsetDateTime; import java.time.format.DateTimeFormatter; public class BoolQueryExample { public static void main(String[] args) throws IOException { // 构建布尔查询 Query boolQuery = BoolQuery.of(b -> b .must(Query.of(q -> q .match(MatchQuery.of(m -> m .field("title") .query("Elasticsearch") )) )) .must(Query.of(q -> q .match(MatchQuery.of(m -> m .field("content") .query("Java") )) )) .should(Query.of(q -> q .term(TermQuery.of(t -> t .field("tags") .value("latest") )) )) .mustNot(Query.of(q -> q .term(TermQuery.of(t -> t .field("status") .value("inactive") )) )) .filter(Query.of(q -> q .range(RangeQuery.of(r -> r .field("create_time") .gte(JsonData.of("2023-01-01T00:00:00Z")) )) )) )._toQuery(); // 然后，我们可以将这个查询用于搜索请求 // 例如：SearchRequest request = SearchRequest.of(s -> s.index("your_index").query(boolQuery)); // 然后使用client.search(request, YourDocumentClass.class)执行查询 } } ``` 注意： - 每个子查询（must, should等）都是一个`Query`对象，我们可以通过`Query.of`方法并传入一个函数来构建具体的查询（如match、term等）。 - 在构建range查询时，我们使用了`JsonData`来表示日期值，因为日期在Elasticsearch中需要特定的格式。这里我们使用了ISO格式的日期字符串，并假设字段"create_time"是日期类型。 - 最后，我们通过调用`_toQuery()`方法将`BoolQuery`对象转换为`Query`对象。 另外，关于布尔查询中各个部分的作用： - `must`：必须满足的条件，相当于AND，并且参与算分。 - `should`：应该满足的条件，相当于OR，在bool查询中，如果没有must或filter，那么至少需要满足一个should条件。如果同时存在must或filter，则should条件变为增加相关性的条件（即满足的should条件越多，文档的相关性得分越高）。可以通过`minimumShouldMatch`参数设置至少满足的should条件数量。 - `must_not`：必须不满足的条件，相当于NOT，不参与算分。 - `filter`：过滤条件，必须满足，但不参与算分，通常用于结构化数据过滤（如范围、状态等）。 在构建布尔查询时，我们还可以设置一些参数，比如`minimum_should_match`。例如，如果我们有多个should条件，我们可以设置至少满足2个： ```java BoolQuery.of(b -> b .should(...) // 多个should条件 .minimumShouldMatch("2") // 至少满足2个 ... // 其他部分 ) ``` 以上就是在Elasticsearch 8.x中使用Java API客户端创建布尔查询的方法。 §§相关问题§§ 1. 在布尔查询中，must和filter有什么区别？ 2. 如何设置布尔查询中的minimum_should_match参数？ 3. 在Elasticsearch 8.x中，除了布尔查询，还有哪些常用的复合查询？ 4. 如何执行这个布尔查询并处理返回结果？</think>### 在 Elasticsearch 8.x 中使用 Java API 创建布尔查询 (boolQuery) 在 Elasticsearch 8.x 中，使用新的 Java API 客户端创建布尔查询的步骤如下（基于强类型构建器模式）： #### 1. **基础 boolQuery 结构** ```java import co.elastic.clients.elasticsearch._types.query_dsl.*; // 创建布尔查询构建器 BoolQuery boolQuery = QueryBuilders.bool() .must(/* must 子句 */) .should(/* should 子句 */) .mustNot(/* must_not 子句 */) .filter(/* filter 子句 */) .build(); // 组合到搜索请求 SearchRequest request = new SearchRequest.Builder() .index("your_index") .query(new Query.Builder().bool(boolQuery).build()) .build(); ``` #### 2. **完整示例：组合多条件查询** ```java import co.elastic.clients.elasticsearch.core.SearchRequest; import co.elastic.clients.elasticsearch.core.SearchResponse; import co.elastic.clients.elasticsearch._types.query_dsl.*; // 构建 boolQuery Query boolQuery = Query.of(q -> q .bool(b -> b .must( // AND 条件 QueryBuilders.match(m -> m.field("title").query("Elasticsearch")), QueryBuilders.range(r -> r.field("price").gte(JsonData.of(100))) ) .should( // OR 条件 QueryBuilders.term(t -> t.field("category").value("book")), QueryBuilders.term(t -> t.field("category").value("ebook")) ) .mustNot( // NOT 条件 QueryBuilders.term(t -> t.field("status").value("out_of_stock")) ) .filter( // 不参与评分的高效过滤 QueryBuilders.term(t -> t.field("in_store").value(true)) ) ) ); // 执行搜索 SearchResponse<YourDocumentClass> response = esClient.search( request -> request.index("products").query(boolQuery), YourDocumentClass.class ); ``` #### 关键参数说明： | **子句类型** | **作用** | **是否影响评分** | |--------------|-----------------------------------|------------------| | `must` | 所有条件必须满足 (AND) | ✅ 是 | | `should` | 至少满足一个条件 (OR) | ✅ 是 | | `mustNot` | 必须不满足的条件 (NOT) | ❌ 否 | | `filter` | 高效过滤，不参与相关性评分 | ❌ 否 | #### 3. **高级用法** **a. 设置最小 should 匹配数** ```java boolQuery(b -> b .should(/* 多个 should 条件 */) .minimumShouldMatch("2") // 至少满足 2 个 should 条件 ) ``` **b. 嵌套布尔查询** ```java boolQuery(b -> b .must(Query.of(q -> q .bool(b2 -> b2 // 嵌套 bool 查询 .must(/* 内部条件 */) ) )) ) ``` #### 注意事项： 1. **字段类型匹配**：确保查询字段的映射类型与查询类型兼容（如 `text` 字段用 `match`，`keyword` 用 `term`）[^3] 2. **性能优化**：将不参与评分的过滤条件放入 `filter` 子句，可利用缓存提升性能[^1] 3. **空值处理**：使用 `existsQuery` 过滤空字段： ```java .filter(QueryBuilders.exists(e -> e.field("stock_count"))) ``` > **最佳实践**：对于需要中文分词的字段（如商品描述），在映射中配置 `"ik_max_word"` 分词器[^3]，查询时使用 `match` 而非 `term`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值