Elastic 中国社区官方博客

ES|QL的LOOKUPJOIN技术预览版发布，为可观测性分析带来革新。该功能允许在查询时动态关联日志、指标和追踪数据，无需在数据摄取阶段进行反规范化处理，有效降低存储成本并提升分析效率。通过创建特殊查找索引，用户可以灵活关联部署信息、基础设施映射等上下文数据，实现快速根因定位。典型应用场景包括：通过部署上下文分析错误日志、利用JOIN优化存储空间等。该功能与传统的ingest时数据丰富方法形成互补，特别适合动态数据环境。目前已在Elasticsearch 8.18和Serverless中提供技术预览，支持

Elasticsearch团队重构了ES|QL查询语言的自动补全系统，以应对日益复杂的命令结构和用户需求。新系统采用命令专属逻辑代替通用处理，提升了代码隔离性和灵活性。此次重构解决了旧系统在代码复杂性和正交性方面的问题，为支持新功能（如基于聚合的过滤）奠定了基础，最终改善了开发者体验和用户建议质量。团队认为这次投入为ES|QL语言和编辑器的未来发展奠定了坚实基础。

LOOKUP JOIN 在许多安全工作流中已经证明了其极大的实用性，但这只是开始。如Elasticsearch 博客中所述，这种类型的连接最接近于 SQL 风格的 LEFT OUTER JOIN，除了改善整体用户体验外，我们还计划扩展连接功能（例如 INNER 连接）。此外，这项功能还使其他搜索语言的语法转换成为可能。请阅读我们最近的博客，了解更多有关自动迁移的信息！总结一下，这种新的连接功能是安全分析师工具箱中的另一个工具，Elastic 搜索 AI 技术提供了许多先进的技术来保护您的数据免受攻击。

​ES|QL LOOKUP JOIN 处理命令将你的 ES|QL 查询结果表中的数据与指定的查找索引中的匹配记录合并。它根据联接字段中的匹配值，将查找索引中的字段作为新列添加到结果表中。团队常常将数据分散在多个索引中，例如日志、IP、用户 ID、主机、员工等。如果没有直接的方式来丰富或关联每个事件与参考数据，那么根本原因分析、安全检查和操作洞察将变得耗时。

将多值字段转换为字符串通配符模式匹配使用全文本功能，将更新 _score 元数据字段条件加权加权最近内容组合评分基于自定义评分进行过滤。

在 8.17 版本中，我们增加了使用全文文本函数过滤文档的功能。如果你不熟悉 ES|QL 中的全文文本过滤，我们建议阅读我们关于它的原创博客文章。在 8.18 和 9.0 中，我们引入了对评分的支持，使得能够根据相关性排序返回文档。要访问每个文档的得分，只需在 ES|QL 查询中添加元数据_score"query": {"bool": {"match": {},"match": {全文本搜索函数，如 match、qstr 和 kql 只能在 WHERE 条件中使用，并且是唯一能影响得分的函数。

Elasticsearch 8.18 包含了 ES|QL 的 LOOKUP JOIN 命令，这是我们第一个 SQL 风格的 JOIN。Elasticsearch 8.18 包含了我们第一个 SQL 风格的 JOIN：ES|QL 的，目前已在 Tech Preview 中提供，支持通过可轻松更新的 lookup 数据集进行数据关联与增强。需要把主机和资产信息添加到你的事件中？没问题。想检查哪些 IP 地址或 URL 出现在威胁情报列表中？当然可以！

探索 LOOKUP JOIN，这是一条在 Elasticsearch 8.18 的技术预览中提供的新 ES|QL 命令。很高兴宣布 LOOKUP JOIN —— 这是一条在 Elasticsearch 8.18 的技术预览中提供的新 ES|QL 命令，旨在执行左以进行数据增强。通过 ES|QL，用户可以根据定义如何在 Elasticsearch 中本地配对文档的标准，将来自一个索引的文档与来自另一个索引的文档查询和组合。

正如你可能已经听说的那样，ES|QL 是 Elastic 的新查询语言。我们对 ES|QL 寄予厚望。它已经很出色了，但随着时间的推移，它将成为与 Elasticsearch 中的数据交互的最强大和最具表现力的方式。这并不意味着我们的用户将始终编写 ES|QL。有时他们会使用 Kibana 中的 GUI 和/或我们的 AI 功能。但是，在底层，这些界面（最终）将归结为生成和执行 ES|QL 查询。但是，ES|QL 的一大优点是你可以自己编写。它是一种可学习的语言。你可以编写自己的查询来执行从简单调查

今天我想谈谈 Kibana 地图，因为它有时被忽视为一种可视化。这是因为在仪表板的背景下，我们似乎习惯于考虑图形、数字和表格。地图可视化未被使用的其他原因是，它可能看起来难以配置，或者假设没有正确的数据。通过提供示例，我们希望提供想法，通过提供示例降低门槛并鼓励更多地使用它。除了地图很棒之外，我们还想调用公开可用的地图服务和数据集。我们将演示如何包含它们，并希望激励您自己寻找数据集和来源，以进一步丰富你的体验并提供对数据的新见解。

可以根据地理空间数据连接两个索引。在本教程中，我将向你展示如何通过混合邻里多边形和 GPS 犯罪事件坐标来创建纽约市的犯罪地图。

8.17 在 ES|QL 中引入了 match 和 qstr 函数，可用于执行全文过滤。本文介绍了它们的作用、使用方法、与现有文本过滤方法的区别、当前的限制以及未来的改进。ES|QL 现在包含全文函数，可用于使用文本查询过滤数据。我们将回顾可用的文本过滤方法，并了解为什么这些函数提供了更好的替代方案。我们还将研究 ES|QL 中全文函数的未来改进。

随着新的 ES|QL 语言正式发布，Kibana 中开发了一种新的编辑器体验，以帮助用户编写更快、更好的查询。实时验证、改进的自动完成和快速修复等功能将简化 ES|QL 体验。我们将介绍改进 Kibana 中 ES|QL 编辑器体验背后的指导原则以及我们为实现该目标所做的工作。我们将介绍实时验证、改进的自动完成和快速修复等功能，这些功能都简化了 ES|QL 体验。

​细心的开发者如果已经阅读我前两天发布的文章 “Elastic 8.17：Elasticsearch logsdb 索引模式、Elastic Rerank 等”，你就会发现在 8.17 的发布版中，有一个重要的功能发布。那就是 ES|QL 开始支持全文搜索了。在今天的文章中我们来尝试一下。ES|QL 中新的 MATCH 和查询字符串 (QSTR) 函数的技术预览使日志搜索更加轻松直观。MATCH 使用 Lucene 匹配查询在 ES|QL 中提供全文搜索功能，而 QTSR 通过启用 Lucene 查询

如何使用 Kibana 和 csv 采集处理器将地理空间数据采集到 Elasticsearch 中，以便在 Elasticsearch 查询语言 (ES|QL) 中进行搜索。Elasticsearch 具有强大的地理空间搜索功能，现在 ES|QL 也具备这些功能，大大提高了易用性和 OGC 熟悉度。但要使用这些功能，我们需要地理空间数据。我们最近发布了一篇博文，介绍了如何使用 ES|QL（Elasticsearch 新的、功能强大的）中的新。

Elasticsearch Ruby 客户端可用于编写 EQ|QL 查询，使处理从 esql.query 返回的数据更加容易。ES|QL 允许开发人员通过查询过滤、转换和分析存储在 Elasticsearch 中的数据。它使用 “管道”(|) 逐步处理数据。自版本8.11.0中作为实验性版本推出以来，esql.query API 一直受Elasticsearch Ruby 客户端支持。ESQL],]}

自 Elasticsearch 8.15 或 Elasticsearch Serverless 以来，。这篇博文将向你展示如何在 Python 中利用它。在中，我演示了如何使用 CSV 作为中间表示将 ES|QL 查询转换为 Pandas 数据帧。不幸的是，CSV 需要显式类型声明，速度很慢（尤其是对于较大的数据集），并且不处理嵌套数组和对象。Apache Arrow 消除了所有这些限制。

Elasticsearch 查询语言 (ES|QL) 的出现对我们的用户来说是一个非常令人兴奋的消息。它大大简化了查询、分析和可视化存储在 Elasticsearch 中的数据，使其成为所有数据驱动用例的强大工具。ES|QL 附带各种函数和运算符，用于执行聚合、统计分析和数据转换。我们不会在本篇博文中介绍所有这些内容，但我们的文档非常详细，将帮助你熟悉该语言及其可能性。要立即开始使用 ES|QL 并运行博文查询，只需在Elastic Cloud 上开始试用，加载数据并运行你的第一个 ES|QL 查询。

​多年来，Elasticsearch 一直具有强大的地理空间搜索和分析功能，但其 API 与典型的 GIS 用户习惯的 API 截然不同。在过去的一年中，我们添加了 ES|QL 查询语言，这是一种管道查询语言，与 SQL 一样简单，甚至更简单。它特别适合 Elastic 擅长的搜索、安全性和可观察性用例。我们还在 ES|QL 中添加了对地理空间搜索和分析的支持，使其使用起来更加容易，尤其是对于来自 SQL 或 GIS 社区的用户而言。

使用 ES|QL，你可以跨多个集群执行单个查询。

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及将来在其他运行时中的数据。有关 ES|QL 和相关教程的概述，请参阅。在今天的文章中，我们将介绍 ES|QL 的异步操作。

​截止今天，ES|QL 已经在 8.14 中正式发布。请详细阅读文章 “Elasticsearch 管道查询语言 ES|QL 现已正式发布”。在今天的文章中，我们将使用 Jupyter notebook 来展示使用 Elastic 发布的 Elasticsearch Python 客户端来访问 Elasticsearch 并针对 ES|QL 来进行查询

今天，我们很高兴地宣布 ES|QL（Elasticsearch 查询语言）全面上市，这是一种从头开始设计的动态语言，用于转换、丰富和简化数据调查。在新的查询引擎的支持下，ES|QL 使用简单且熟悉的查询语法和并发处理来提供高级搜索，无论数据源和结构如何，都可以提高速度和效率。借助 ES|QL 的管道语法，用户可以轻松链接多个操作，简化复杂的数据调查并使查询更加直观和迭代。

8.14 版本最重要的标题是 ES|QL 的正式发布(GA)，它是从头开始设计和专门构建的，可大大简化数据调查。在新的查询引擎的支持下，ES|QL 提供了具有并发处理的高级搜索功能，从而提高了速度和效率，而不受数据源和结构的影响。8.14 版本的其他重要组成部分包括向量搜索改进的 GA 以及新的生成式 AI 攻击发现安全功能的技术预览。解决方案的其他亮点包括以下内容。帮助开发人员实现现代搜索和发现体验。

JavaScript 客户端的未来版本可能会包含更多 ES|QL 帮助程序，例如使用生成器对大型结果集进行分页，以及对 Apache Arrow 的支持。不过，如果你想要一个记录数组（JavaScript 应用程序中的标准结构），则需要额外的努力来转换数据。我们所有的官方客户端都计划包含类似的帮助程序和工具，以使使用 ES|QL 查询尽可能简单。这些是相对简单的例子，重点介绍了如何在 JavaScript 客户端中使用新的 ES|QL 帮助程序，因此。，构建你的下一个 GenAI 应用程序！

讲师：阿里云技术专家 — 善仁(贾新禹)阿里云 Elasticsearch Serverless 技术负责人，15 年加入阿里后专注于搜索工程领域，擅长平台化和产品化，主导了阿里集团内多个搜索产品建设，服务了内外部大量客户。议题介绍：介绍阿里云 Elasticsearch Serverless 架构及其优势，并以淘宝母婴订单数据为例，展示如何快速将数据从数据库实时同步至 ES Serverless 中，并通过 Kibana 展示订单大盘进行运营分析。

​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。

ES|QL 是 Elasticsearch 引入的一种新的查询语言，它将简化的语法与管道操作符结合起来，使用户能够直观地推断和操作数据。官方 Java 客户端的新版本 8.13.0 引入了对 ES|QL 查询的支持，提供了一个新的 API，允许轻松执行查询，并自动将结果翻译为 Java 对象。

2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。

​从 elasticsearch-php v8.13.0 开始，你可以执行 ES|QL查询并将结果映射到 stdClass 或自定义类的 PHP 对象。我们可以使用 esql()->query() 端点在 PHP 中执行 ES|QL 查询。该查询的结果是一个表数据结构。这是使用 columns 和 valuse 字段以 JSON 形式表示的。在 columns 字段中，我们有 name 和 type 定义。]);

在本笔记本中，你将学习 Elasticsearch 查询语言 (ES|QL) 的基础知识。你将使用官方 Elasticsearch Python 客户端。⚠️ 不要在生产环境中使用 ES|QL。此功能处于技术预览阶段，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但技术预览版中的功能不受官方 GA 功能的支持 SLA 的约束。ES|QL 将在 8.13 正式发布（以官方发布为准）。在一下的展示中，我将使用 Elastic Stack 8.12 来进行展示。

作为一名运营工程师（SRE、IT 运营、DevOps），管理技术和数据蔓延是一项持续的挑战。简单地管理大量高维和高基数数据是令人难以承受的。作为单一平台，Elastic® 帮助 SRE 将无限的遥测数据（包括指标、日志、跟踪和分析）统一并关联到单一数据存储 — Elasticsearch® 中。然后，通过应用 Elastic 的高级机器学习 (ML)、AIOps、AI Assistant 和分析的强大功能，你可以打破孤岛并将数据转化为见解。

在今天的文章里，我来介绍一下 ES|QL 里的元数据字段以及多值字段。我们可以利用这些元数据字段以及多值字段来针对我们的查询进行定制。

这篇文章是继我昨天完成的文章 ​“Elasticsearch：ES|QL 函数及操作符” 的另外一篇文章。我将继续使用之前文章 “” 中的例子来结合 ES|QL 函数来做更进一步的展示。希望能对之前的文章做一个更进一步的展示。在这里，我将主要使用 Dev Tools 来进行展示。：在进行如下的例子之前，你需要至少安装 Elastic Stack 8.11 及以上版本。

ES|QL 提供了一整套用于处理数据的函数和运算符。本文详细地介绍了各种运用于 ES|QL 在查询中所使用到的函数！

目前的最新发型办为 Elastic Stack 8.11。Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。

在我之前的文章 “”，我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中，我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。

ES|QL（Elasticsearch 查询语言）是 Elastic® 全新的创新管道查询语言，旨在通过提供强大的计算和聚合功能来加速数据分析和调查流程。轻松高效地应对识别正在发生的网络攻击或查明生产问题的复杂性。ES|QL 不仅简化了海量数据集的搜索、聚合和可视化，还为用户提供了查找（lookup）和实时处理等高级功能，所有这些都可以在 Discover 的单个屏幕上完成。你可以迭代粘贴的 ES|QL 查询，并通过单击 “Test query” 对其进行测试。这将为你提供表格中结果的预览。

我们倾听并自豪地推出Elasticsearch 查询语言 (ES|QL)，这是我们全新的创新管道查询语言 — 一种与 Elasticsearch 中的数据交互的统一方法和语言，同时消除了将数据传输到外部系统进行专门处理的昂贵需求。与 Elastic 多年来采用的其他语言（例如 Query DSL）不同，ES|QL 是从头开始设计和构建的，旨在大大简化数据调查，并且可供初学者使用，同时对专家来说功能强大。

尽管 ES|QL 带来性能及使用上的便捷，在实际的使用中，它还是有一些限制。在今天的文章中，我们来列举它的一些限制。