Elastic 中国社区官方博客

Elasticsearch 9.2对ES|QL查询语言进行了三项重要更新：1）增强LOOKUP JOIN功能，支持多字段连接和复杂表达式；2）新增TS命令用于时间序列分析；3）推出INLINESTATS命令保留原始数据同时进行聚合。这些改进显著提升了数据分析的灵活性、性能和易用性。此外，Kibana Discover新增了直观的lookup索引管理界面，并支持多种新函数。底层优化使查询效率大幅提升，部分场景性能可提高1000倍。

Elastic Discover迎来重大升级，集成ES|QL查询语言实现数据转换与聚合分析，新增上下文感知功能自动优化工作界面。9.2版本支持多标签页探索和CRUD操作，未来将推出分屏视图和自然语言转查询功能。这些改进使数据探索更高效直观，用户可免费试用云服务或本地部署体验新特性。

Elasticsearch推出全新ES|QL查询语言，提供比OpenSearch PPL更智能的分析体验。ES|QL编辑器具备智能自动补全、上下文帮助、推荐查询和跨集群查询支持，显著提升工作效率。与OpenSearch PPL相比，ES|QL在Kibana中深度集成，支持查询历史记录和可视化检查工具，使数据探索更加直观高效。该功能自8.14版本正式可用，用户可通过Elastic云试用或本地部署体验这一创新查询引擎。

Elastic官方发布了elastic-esql gem工具，帮助开发者用Ruby代码构建Elasticsearch的ES|QL查询。该工具采用链式调用方式，支持常见查询操作（如LIMIT、SORT等），并能转换为标准ES|QL语句。既可与Elasticsearch Ruby客户端配合使用，也可作为独立工具使用。目前以技术预览版发布，支持自定义查询字符串，开发者可通过Gemfile安装gem 'elastic-esql'来使用。该工具仍在积极开发中，欢迎用户反馈改进建议。

Elastic推出Python Elasticsearch客户端新功能：ES|QL查询构建器模块（8.19+版本），支持用Python语法构建ES|QL查询。该模块集成了所有ES|QL命令、函数和运算符，可通过链式调用生成标准查询语句，并直接执行。文档类还提供esql_from()和esql_execute()方法实现查询构建与结果转换。目前该功能处于技术预览阶段，开发者可通过pip升级客户端体验，遇到问题可在GitHub提交反馈。

摘要：Elasticsearch的新功能ES|QL COMPLETION命令结合LLM（如GPT-4o），只需几行代码就能将数据转化为创意输出。文章演示了如何构建Chuck Norris事实生成器：先设置LLM推理端点，然后用ES|QL查询检索电影数据、构建提示词并调用LLM生成内容。这一功能展示了Elasticsearch在检索增强生成（RAG）方面的强大能力，可用于摘要、内容生成等多种场景。目前该功能处于技术预览阶段，开发者可自由尝试不同应用。

Elasticsearch宣布正式发布基于ES|QL的跨集群搜索(CCS)企业级功能。该功能允许用户通过单一查询分析分布在多个集群中的数据，支持地理分布、环境隔离等多种部署场景。新版本采用分布式查询处理架构，具备弹性故障处理机制，支持三种ENRICH数据增强模式，并优化了大规模集群下的性能表现。系统会记录详细的查询监控数据，未来还将扩展LOOKUP JOIN等功能。企业用户现可升级至最新版体验这一统一数据分析解决方案。

Elasticsearch 8.19和9.1版本发布，重点增强了ES|QL查询语言功能。主要更新包括：生产级LOOKUP JOIN功能正式可用，支持混合数值类型join和索引别名；查询引擎默认具备更强弹性，支持部分结果返回和自动重试；性能提升显著，优化了30多项操作；跨集群搜索(CCS)正式发布；新增可观测性功能如查询日志和实时监控API。此外还引入了LLM completion支持、新聚合函数等特性，帮助用户构建更强大的搜索解决方案。

ES|QL发展历程概览：Elasticsearch推出的ES|QL查询语言自8.11版本技术预览以来持续进化。8.12优化性能并支持空间数据，8.13引入异步查询和字符串处理函数。8.14正式发布后，新增分组统计和空间函数。8.15-8.17逐步完善类型转换、聚合分析和时间精度。8.18和9.0版本推出跨索引连接、全文评分和KQL集成等高级功能。每个版本都通过新增命令、函数和性能优化，不断提升数据处理能力，满足可观测性、安全性等多样化场景需求。

我很高兴地宣布，经过大约一年的开发，Elasticsearch 查询语言 (ES|QL) 已准备好与世界共享，并已登陆。ES|QL 是 Elasticsearch® 原生的强大声明性语言，专为可组合性、表现力和速度而设计。

摘要： 本文介绍了如何结合使用Elasticsearch的ES|QL查询语言与JavaScript的Apache Arrow客户端工具。ES|QL是一种高效的数据分析管道语言，支持多种响应格式，包括Apache Arrow。Elasticsearch Node.js客户端提供了toArrowReader和toArrowTable两种工具，分别用于流式处理大数据集和一次性加载内存数据。通过示例展示了如何查询Elasticsearch的Web日志数据集，并利用Arrow格式优化性能，实现跨语言的高效数据分析。这

ES|QL的LOOKUPJOIN技术预览版发布，为可观测性分析带来革新。该功能允许在查询时动态关联日志、指标和追踪数据，无需在数据摄取阶段进行反规范化处理，有效降低存储成本并提升分析效率。通过创建特殊查找索引，用户可以灵活关联部署信息、基础设施映射等上下文数据，实现快速根因定位。典型应用场景包括：通过部署上下文分析错误日志、利用JOIN优化存储空间等。该功能与传统的ingest时数据丰富方法形成互补，特别适合动态数据环境。目前已在Elasticsearch 8.18和Serverless中提供技术预览，支持

Elasticsearch团队重构了ES|QL查询语言的自动补全系统，以应对日益复杂的命令结构和用户需求。新系统采用命令专属逻辑代替通用处理，提升了代码隔离性和灵活性。此次重构解决了旧系统在代码复杂性和正交性方面的问题，为支持新功能（如基于聚合的过滤）奠定了基础，最终改善了开发者体验和用户建议质量。团队认为这次投入为ES|QL语言和编辑器的未来发展奠定了坚实基础。

LOOKUP JOIN 在许多安全工作流中已经证明了其极大的实用性，但这只是开始。如Elasticsearch 博客中所述，这种类型的连接最接近于 SQL 风格的 LEFT OUTER JOIN，除了改善整体用户体验外，我们还计划扩展连接功能（例如 INNER 连接）。此外，这项功能还使其他搜索语言的语法转换成为可能。请阅读我们最近的博客，了解更多有关自动迁移的信息！总结一下，这种新的连接功能是安全分析师工具箱中的另一个工具，Elastic 搜索 AI 技术提供了许多先进的技术来保护您的数据免受攻击。

​ES|QL LOOKUP JOIN 处理命令将你的 ES|QL 查询结果表中的数据与指定的查找索引中的匹配记录合并。它根据联接字段中的匹配值，将查找索引中的字段作为新列添加到结果表中。团队常常将数据分散在多个索引中，例如日志、IP、用户 ID、主机、员工等。如果没有直接的方式来丰富或关联每个事件与参考数据，那么根本原因分析、安全检查和操作洞察将变得耗时。

将多值字段转换为字符串通配符模式匹配使用全文本功能，将更新 _score 元数据字段条件加权加权最近内容组合评分基于自定义评分进行过滤。

在 8.17 版本中，我们增加了使用全文文本函数过滤文档的功能。如果你不熟悉 ES|QL 中的全文文本过滤，我们建议阅读我们关于它的原创博客文章。在 8.18 和 9.0 中，我们引入了对评分的支持，使得能够根据相关性排序返回文档。要访问每个文档的得分，只需在 ES|QL 查询中添加元数据_score"query": {"bool": {"match": {},"match": {全文本搜索函数，如 match、qstr 和 kql 只能在 WHERE 条件中使用，并且是唯一能影响得分的函数。

Elasticsearch 8.18 包含了 ES|QL 的 LOOKUP JOIN 命令，这是我们第一个 SQL 风格的 JOIN。Elasticsearch 8.18 包含了我们第一个 SQL 风格的 JOIN：ES|QL 的，目前已在 Tech Preview 中提供，支持通过可轻松更新的 lookup 数据集进行数据关联与增强。需要把主机和资产信息添加到你的事件中？没问题。想检查哪些 IP 地址或 URL 出现在威胁情报列表中？当然可以！

探索 LOOKUP JOIN，这是一条在 Elasticsearch 8.18 的技术预览中提供的新 ES|QL 命令。很高兴宣布 LOOKUP JOIN —— 这是一条在 Elasticsearch 8.18 的技术预览中提供的新 ES|QL 命令，旨在执行左以进行数据增强。通过 ES|QL，用户可以根据定义如何在 Elasticsearch 中本地配对文档的标准，将来自一个索引的文档与来自另一个索引的文档查询和组合。

正如你可能已经听说的那样，ES|QL 是 Elastic 的新查询语言。我们对 ES|QL 寄予厚望。它已经很出色了，但随着时间的推移，它将成为与 Elasticsearch 中的数据交互的最强大和最具表现力的方式。这并不意味着我们的用户将始终编写 ES|QL。有时他们会使用 Kibana 中的 GUI 和/或我们的 AI 功能。但是，在底层，这些界面（最终）将归结为生成和执行 ES|QL 查询。但是，ES|QL 的一大优点是你可以自己编写。它是一种可学习的语言。你可以编写自己的查询来执行从简单调查

今天我想谈谈 Kibana 地图，因为它有时被忽视为一种可视化。这是因为在仪表板的背景下，我们似乎习惯于考虑图形、数字和表格。地图可视化未被使用的其他原因是，它可能看起来难以配置，或者假设没有正确的数据。通过提供示例，我们希望提供想法，通过提供示例降低门槛并鼓励更多地使用它。除了地图很棒之外，我们还想调用公开可用的地图服务和数据集。我们将演示如何包含它们，并希望激励您自己寻找数据集和来源，以进一步丰富你的体验并提供对数据的新见解。

可以根据地理空间数据连接两个索引。在本教程中，我将向你展示如何通过混合邻里多边形和 GPS 犯罪事件坐标来创建纽约市的犯罪地图。

8.17 在 ES|QL 中引入了 match 和 qstr 函数，可用于执行全文过滤。本文介绍了它们的作用、使用方法、与现有文本过滤方法的区别、当前的限制以及未来的改进。ES|QL 现在包含全文函数，可用于使用文本查询过滤数据。我们将回顾可用的文本过滤方法，并了解为什么这些函数提供了更好的替代方案。我们还将研究 ES|QL 中全文函数的未来改进。

随着新的 ES|QL 语言正式发布，Kibana 中开发了一种新的编辑器体验，以帮助用户编写更快、更好的查询。实时验证、改进的自动完成和快速修复等功能将简化 ES|QL 体验。我们将介绍改进 Kibana 中 ES|QL 编辑器体验背后的指导原则以及我们为实现该目标所做的工作。我们将介绍实时验证、改进的自动完成和快速修复等功能，这些功能都简化了 ES|QL 体验。

​细心的开发者如果已经阅读我前两天发布的文章 “Elastic 8.17：Elasticsearch logsdb 索引模式、Elastic Rerank 等”，你就会发现在 8.17 的发布版中，有一个重要的功能发布。那就是 ES|QL 开始支持全文搜索了。在今天的文章中我们来尝试一下。ES|QL 中新的 MATCH 和查询字符串 (QSTR) 函数的技术预览使日志搜索更加轻松直观。MATCH 使用 Lucene 匹配查询在 ES|QL 中提供全文搜索功能，而 QTSR 通过启用 Lucene 查询

如何使用 Kibana 和 csv 采集处理器将地理空间数据采集到 Elasticsearch 中，以便在 Elasticsearch 查询语言 (ES|QL) 中进行搜索。Elasticsearch 具有强大的地理空间搜索功能，现在 ES|QL 也具备这些功能，大大提高了易用性和 OGC 熟悉度。但要使用这些功能，我们需要地理空间数据。我们最近发布了一篇博文，介绍了如何使用 ES|QL（Elasticsearch 新的、功能强大的）中的新。

Elasticsearch Ruby 客户端可用于编写 EQ|QL 查询，使处理从 esql.query 返回的数据更加容易。ES|QL 允许开发人员通过查询过滤、转换和分析存储在 Elasticsearch 中的数据。它使用 “管道”(|) 逐步处理数据。自版本8.11.0中作为实验性版本推出以来，esql.query API 一直受Elasticsearch Ruby 客户端支持。ESQL],]}

自 Elasticsearch 8.15 或 Elasticsearch Serverless 以来，。这篇博文将向你展示如何在 Python 中利用它。在中，我演示了如何使用 CSV 作为中间表示将 ES|QL 查询转换为 Pandas 数据帧。不幸的是，CSV 需要显式类型声明，速度很慢（尤其是对于较大的数据集），并且不处理嵌套数组和对象。Apache Arrow 消除了所有这些限制。

Elasticsearch 查询语言 (ES|QL) 的出现对我们的用户来说是一个非常令人兴奋的消息。它大大简化了查询、分析和可视化存储在 Elasticsearch 中的数据，使其成为所有数据驱动用例的强大工具。ES|QL 附带各种函数和运算符，用于执行聚合、统计分析和数据转换。我们不会在本篇博文中介绍所有这些内容，但我们的文档非常详细，将帮助你熟悉该语言及其可能性。要立即开始使用 ES|QL 并运行博文查询，只需在Elastic Cloud 上开始试用，加载数据并运行你的第一个 ES|QL 查询。

​多年来，Elasticsearch 一直具有强大的地理空间搜索和分析功能，但其 API 与典型的 GIS 用户习惯的 API 截然不同。在过去的一年中，我们添加了 ES|QL 查询语言，这是一种管道查询语言，与 SQL 一样简单，甚至更简单。它特别适合 Elastic 擅长的搜索、安全性和可观察性用例。我们还在 ES|QL 中添加了对地理空间搜索和分析的支持，使其使用起来更加容易，尤其是对于来自 SQL 或 GIS 社区的用户而言。

使用 ES|QL，你可以跨多个集群执行单个查询。

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及将来在其他运行时中的数据。有关 ES|QL 和相关教程的概述，请参阅。在今天的文章中，我们将介绍 ES|QL 的异步操作。

​截止今天，ES|QL 已经在 8.14 中正式发布。请详细阅读文章 “Elasticsearch 管道查询语言 ES|QL 现已正式发布”。在今天的文章中，我们将使用 Jupyter notebook 来展示使用 Elastic 发布的 Elasticsearch Python 客户端来访问 Elasticsearch 并针对 ES|QL 来进行查询

今天，我们很高兴地宣布 ES|QL（Elasticsearch 查询语言）全面上市，这是一种从头开始设计的动态语言，用于转换、丰富和简化数据调查。在新的查询引擎的支持下，ES|QL 使用简单且熟悉的查询语法和并发处理来提供高级搜索，无论数据源和结构如何，都可以提高速度和效率。借助 ES|QL 的管道语法，用户可以轻松链接多个操作，简化复杂的数据调查并使查询更加直观和迭代。

8.14 版本最重要的标题是 ES|QL 的正式发布(GA)，它是从头开始设计和专门构建的，可大大简化数据调查。在新的查询引擎的支持下，ES|QL 提供了具有并发处理的高级搜索功能，从而提高了速度和效率，而不受数据源和结构的影响。8.14 版本的其他重要组成部分包括向量搜索改进的 GA 以及新的生成式 AI 攻击发现安全功能的技术预览。解决方案的其他亮点包括以下内容。帮助开发人员实现现代搜索和发现体验。

JavaScript 客户端的未来版本可能会包含更多 ES|QL 帮助程序，例如使用生成器对大型结果集进行分页，以及对 Apache Arrow 的支持。不过，如果你想要一个记录数组（JavaScript 应用程序中的标准结构），则需要额外的努力来转换数据。我们所有的官方客户端都计划包含类似的帮助程序和工具，以使使用 ES|QL 查询尽可能简单。这些是相对简单的例子，重点介绍了如何在 JavaScript 客户端中使用新的 ES|QL 帮助程序，因此。，构建你的下一个 GenAI 应用程序！

讲师：阿里云技术专家 — 善仁(贾新禹)阿里云 Elasticsearch Serverless 技术负责人，15 年加入阿里后专注于搜索工程领域，擅长平台化和产品化，主导了阿里集团内多个搜索产品建设，服务了内外部大量客户。议题介绍：介绍阿里云 Elasticsearch Serverless 架构及其优势，并以淘宝母婴订单数据为例，展示如何快速将数据从数据库实时同步至 ES Serverless 中，并通过 Kibana 展示订单大盘进行运营分析。

​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。

ES|QL 是 Elasticsearch 引入的一种新的查询语言，它将简化的语法与管道操作符结合起来，使用户能够直观地推断和操作数据。官方 Java 客户端的新版本 8.13.0 引入了对 ES|QL 查询的支持，提供了一个新的 API，允许轻松执行查询，并自动将结果翻译为 Java 对象。

2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。