Elastic 中国社区官方博客

今天，我们宣布推出 Elasticsearch Serverless 技术预览版，其功能包括：以开发人员为中心的体验，通过直观的入门和相关代码示例简化创建人工智能驱动的搜索，所有这些都是完全托管的服务云原生、无服务器架构通过 Search AI Lake 将计算与数据分离只需点击几下即可创建 Elasticsearch 项目，以尝试新的 AI 搜索功能早期访问客户已将这种新的自助服务选项用于一系列用例 —— 从内部分析到构建生成式人工智能应用程序和执行机器学习任务。

Elastic Cloud Serverless 基于 Search AI Lake 构建，提供无忧管理、快速入门和优化的产品体验，所有这些都是为了利用 Search AI Lake 令人印象深刻的速度和规模而量身定制的。在技​​术预览版中，无服务器（serverless）项目得到了完全简化，以消除运营开销并自动处理扩展和管理。从监控和备份到配置和规模调整，所有操作均由 Elastic 管理。你无需考虑底层集群、节点、版本或扩展 — 只需携带你自己的数据并开始使用 Elastic 的任何解决方案。

相关性调整是用户搜索体验的重要组成部分。语义搜索尤其面临着几个挑战，其中许多挑战是通过混合搜索和应用相关性调整实践来解决的，这些实践经过数十年的词汇搜索研究的磨练。我们将探讨其中一些策略，以及如何有效地使用它们来调整混合搜索世界中的相关性。

当需要搜索自由文本并且 Ctrl+F / Cmd+F 不再有效时，使用词法搜索引擎通常是你想到的下一个合理选择。 词汇搜索引擎擅长分析要搜索的文本并将其标记为可在搜索时匹配的术语，但在理解和理解被索引和搜索的文本的真正含义时通常会表现不佳。这正是向量搜索引擎的闪光点。 他们可以对同一文本进行索引，以便可以根据它所代表的含义及其与具有相似或相关含义的其他概念的关系来搜索该文本。在本博客中，我们将简要介绍向量如何成为传达文本含义的重要数学概念。 然后，我们将深入研究 Elasticsearch 在搜索邻

​Elasticsearch（从 8.11 版本及更高版本开始）支持单个字段中每个文档具有多个向量。 这样的文档可以通过文档的最相似向量的排名或者通过每个文档具有多个结果（可能在同一结果集中文档包含的每个向量含有一个）来排名。 对于密集向量和稀疏向量（例如，使用 ELSER 时）都是如此，但为了简单起见，博客的其余部分将与密集向量相关。

随着 Elastic 继续致力于 OpenTelemetry (OTel)，我们很高兴地宣布推出 OTel Java Agent 的 Elastic 发行版。在这篇博文中，我们将探讨我们独特的发行版背后的基本原理，详细介绍它带来的强大的附加功能。我们将概述如何将这些增强功能与我们的发行版、标准 OTel SDK 或标准的 OTel Java 代理一起使用。请继续关注，我们将展望我们的未来计划，以及你对 Elastic 对 OTel Java 未来发展的贡献的期望。

讲师：阿里云技术专家 — 善仁(贾新禹)阿里云 Elasticsearch Serverless 技术负责人，15 年加入阿里后专注于搜索工程领域，擅长平台化和产品化，主导了阿里集团内多个搜索产品建设，服务了内外部大量客户。议题介绍：介绍阿里云 Elasticsearch Serverless 架构及其优势，并以淘宝母婴订单数据为例，展示如何快速将数据从数据库实时同步至 ES Serverless 中，并通过 Kibana 展示订单大盘进行运营分析。

Elasticsearch 提供两种类型的索引模板：旧（legacy）索引模板和可组合 (composable) 索引模板。 Elasticsearch 7.8 中引入的可组合模板旨在替换旧模板，两者仍然可以在 Elasticsearch 8 中使用。本文探讨了这些模板之间的差异以及它们的交互方式。 特别是，我们将重点关注如何在创建索引时检测将使用哪个模板。 让我们首先了解如何创建不同类型的索引模板。

​可观测性 AI 助手可帮助用户使用自然语言界面探索和分析可观测性数据，利用自动函数调用来请求、分析和可视化数据，将其转换为可操作的可观测性。 该助手还可以建立一个由 Elastic Learned Sparse EncodeR (ELSER) 提供支持的知识库，以提供来自私人数据的附加上下文和建议，以及使用 RAG（检索增强生成）的大型语言模型 (LLM)。 Elastic 的 Stack — 作为一个向量数据库，具有开箱即用的语义搜索以及 LLM 集成和可观测性解决方案的连接器 — 是一个完美的工具包

检索增强生成 (RAG) 通过提供额外的上下文或信息来增强大型语言模型 (LLM) 的知识，从而提高响应质量。尽管 LLMs 拥有令人印象深刻的能力，但也有其局限性，例如无法在培训后保留新信息以及对不熟悉的主题产生错误答案的倾向。为了克服这些限制，专有的、相关的和更新的数据可以与提示相结合，从而为 LLM 奠定基础，并导致更准确和用户友好的响应。有关 RAG 的详细信息，。RBAC -ole-asedccessontrol，基于角色的访问控制。

当今公共部门组织利用生成式人工智能解决安全挑战的一种方式。凭借其筛选大量数据以发现异常模式的能力，生成式人工智能现在在帮助团队保护其组织免受网络威胁方面发挥着关键作用。它还可以帮助安全专业人员提高技能并弥补知识差距。通过处理复杂的数据分析并将原始数据转化为有用的见解，生成式人工智能使团队能够专注于规划他们的响应，而不仅仅是管理数据。Elastic AI Assistant 集成到 Elastic Security 中，可以快速识别、分析和响应潜在威胁，减少误报的可能性。它与各种被称为。

作为 SRE，分析应用程序比以往更加复杂。你不仅必须确保应用程序以最佳状态运行以确保良好的客户体验，而且还必须了解某些情况下的内部工作原理以帮助排除故障。分析基于生产的服务中的问题是一项团队运动。它需要 SRE、DevOps、开发和支持才能找到根本原因并进行潜在的补救。如果它有影响，那就更糟了，因为这是一场与时间的赛跑。无论情况如何，都有大量信息需要消耗和处理。这不仅包括客户正在经历的情况，还包括有助于提供最合适解决方案的内部数据。

我们很高兴地宣布推出的 alpha 版本。该发行版是 OpenTelemetry Node.js SDK 的轻量级包装，可以让你更轻松地开始使用 OpenTelemetry 来观察 Node.js 应用程序。

监控是收集、摄取和分析应用程序、基础设施和/或云遥测数据以评估系统运行状况的过程。监控依赖于指标，例如 CPU 或内存使用情况以及网络流量、日志和跟踪。这些数据使 IT 团队能够实时跟踪其基础设施和应用程序的性能和可用性。监控工具和平台可以提供仪表板和警报，并具有报告功能，以帮助 IT 团队监控组件、识别预测问题并解决给定环境中出现的问题。然而，监控工具传统上是孤立的，因此并不总是适合现代云架构和更大的环境。可观测性是一组实践和工具，使 IT 用户能够通过其生成的遥测和操作数据获得整个环境的整体视图。

红帽 OpenShift AI 是一个混合 MLOps 平台，它将 IT、数据科学和应用程序开发团队聚集在一起。它旨在简化生成式人工智能应用程序的开发和部署，提供针对分布式工作负载量身定制的全面基础设施堆栈。这包括训练、优化、微调和部署基础和预测人工智能模型。与模型构建者合作有助于提供对各种预构建模型的访问。开发人员和数据科学家可以在同一平台上协同工作，从而极大地增强协作。该平台促进端到端人工智能生命周期管理 —— 从模型开发和培训到部署、服务和持续监控。模型开发。

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎，我们可以快速地搜索相关的内容，我们也可以使用 Kibana 所提供的可视化为数据提供洞

​传统的安全信息与事件管理系统（SIEM）在很大程度上依赖屏幕背后的人类才能取得成功。警报、仪表盘、威胁猎杀以及在信号洪流中找到上下文，所有这些都需要大量的人力。搜索人工智能将颠覆这一旧模式，并将传统的 SIEM 替换为适用于现代安全运营中心的人工智能驱动的安全分析解决方案。想象一下，一个系统可以筛选所有的数据，忽略噪音并识别出关键信息，发现特定的攻击，并制定具体的修复措施。Elastic Search AI 平台支持的 Elastic Security 正在实现这一进化，用人工智能取代了配置、调查和响应

我认为，知识检索和相似性搜索是企业成功实施人工智能的切入点。过去，关键词搜索对所有网站来说几乎是必须的，但我们很快会看到，知识检索将成为最基本的标准。当我尝试使用没有知识搜索功能的 API 文档时，我已经感到非常沮丧。我期待看到你利用知识检索和相似性搜索提出的新颖而惊人的想法。更多关于向量搜索的知识，请详细阅读专栏 “AI。

​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。

​在 8.13 版本中，我们为 Elasticsearch 引入了标量量化功能。通过使用此功能，最终用户可以提供浮点向量，这些向量在内部作为字节向量进行索引，同时在索引中保留浮点向量，以便可选地重新评分。这意味着他们可以将索引内存需求降低四分之一，这是其主要成本。目前，这是一个可选择加入的功能，但我们认为与将向量索引为浮点数相比，这是一个更好的权衡。在 8.14 版本中，我们将使其成为默认设置。然而，在这样做之前，我们希望对质量影响进行系统评估。

ES|QL 是 Elasticsearch 引入的一种新的查询语言，它将简化的语法与管道操作符结合起来，使用户能够直观地推断和操作数据。官方 Java 客户端的新版本 8.13.0 引入了对 ES|QL 查询的支持，提供了一个新的 API，允许轻松执行查询，并自动将结果翻译为 Java 对象。

如果你是在互联网出现之前长大的，你会记得找到新喜好并不总是那么容易。我们是在无意中听到收音机里的新乐队时发现他们的，是因为忘了换频道偶然看到一个新电视节目的，也是几乎完全依据游戏封面的图片来找到新喜欢的视频游戏的。如今，情况大为不同。Spotify 会向我推荐符合我的口味的艺术家，Netflix 会突出显示它知道我们会喜欢的电影和电视节目，Xbox 知道我们接下来可能想玩什么。

过去几年中，机器学习（ML）已经悄然成为我们日常生活中不可或缺的一部分。它影响着从购物网站和流媒体网站上的个性化推荐，到保护我们的收件箱免受我们每天收到的大量垃圾邮件的侵扰。但它不仅仅是我们便利的工具。在当前的技术格局中，机器学习已变得至关重要，而且看起来这种情况不会很快改变。它被用来在数据中解锁隐藏的见解，自动化任务和过程，增强决策制定，并推动创新的边界。这项技术的核心是。这些基本上是被设计用来从数据中学习而不需要针对各个任务进行明确编程的计算机程序。

​我们 Elastic 的使命是将 Apache Lucene 打造成最佳的向量数据库，并继续提升 Elasticsearch 作为搜索和 RAG（Retrieval Augmented Generation）的最佳检索平台。我们对 Lucene 的投资是关键，以确保每个版本的 Elasticsearch 都能带来更快的性能和更大的规模。在这篇博客中，我们总结了近期对 Elasticsearch 和 Apache Lucene 进行的增强和优化，这些提升在向量搜索性能上远超 Apache 9.9 和

Elasticsearch 作为搜索和分析数据的首选分布式引擎在技术领域脱颖而出，尤其是在处理日志、事件和综合文本搜索时。它的与众不同之处在于它如何让你使用各种块选项调整对其索引的访问。这对于那些负责技术项目的人（比如管理员和编码员）来说非常方便，他们需要保持数据可靠、管理资源或遵守严格的安全规则。通常，我们必须停止对索引设置的任何调整。诀窍是依靠 Elasticsearch 的块设置，更准确地说，依靠 blocks.metadata 设置。

​在 Lucene 中引入 Int4 量化。在之前的博客中，我们全面介绍了 Lucene 中标量量化的实现。 我们还探索了两种具体的量化优化。 现在我们遇到了一个问题：int4 量化在 Lucene 中是如何工作的以及它是如何排列的？

​在当今云服务和 SaaS 平台的时代，持续改进不仅是一个目标，而是一个必要条件。在 Elastic，我们始终在寻找方法来优化我们的系统，无论是我们的内部工具还是 Elastic Cloud 服务。我们最近在 Elastic Cloud QA 环境中进行的性能优化调查，由 Elastic Universal Profiling 指导，是如何将数据转化为可操作见解的一个很好的例子。在本博客中，我们将介绍我们的一位工程师发现的一项内容，该发现导致我们在 QA 环境中节省了数千美元，并且一旦我们将此更改部署

在微服务和分布式系统的复杂世界中，实现透明度并了解服务交互和请求流程的复杂性和低效性已成为一个重要挑战。分布式跟踪对于理解分布式系统至关重要。但是，无论是手动应用还是自动检测，分布式跟踪通常都相对粗粒度。因此，分布式跟踪仅覆盖系统的有限部分，往往会错过系统中最有价值的跟踪部分。

“学习排名 (Learning To Rank)” 功能处于技术预览版，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但此功能不受官方 GA 功能的支持 SLA 的约束。：此功能是在版本 8.12.0 中引入的，并且仅适用于某些订阅级别。有关更多信息，请参阅。Learning To Rank (LTR) 使用经过训练的机器学习（ML）模型来构建搜索引擎的排名函数。通常，该模型用作第二阶段的重新排序器，以提高简单的第一阶段检索算法返回的搜索结果的相关性。

我们很高兴地宣布在 Elasticsearch 中推出的最新创新：在 Elastic 的中集成了 OpenAI Chat Completions 功能。这一新特性标志着我们在整合尖端人工智能能力至 Elasticsearch 的旅程中又迈出了一步，提供了生成类人文本完成等更多易于使用的功能。更多关于 OpenAI Chat Completions 的用法，请阅读文章 “

从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。现在我们可以在新规则生效的情况下重新进行一次爬取。注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。

正如，Elastic 致力于帮助 OpenTelemetry（OTel）取得成功，这意味着在某些情况下构建语言 SDK 的分发版本。Elastic 在观察性和安全数据收集方面战略性地选择了 OTel 标准。此外，Elastic 承诺与 OTel 社区合作，成为观察性生态系统中最佳的数据收集基础设施。Elastic 正在加深与 OTel 的合作关系，超越了最近将（invokedynamic）以及。

在 Lucene 领域，我们一直热切地采用新版本 Java 的功能。这些功能使 Lucene 更接近 JVM 和底层硬件，从而提高了性能和稳定性。这使得 Lucene 保持现代化和具有竞争力。Lucene 的下一个主要版本，Lucene 10，将需要至少 Java 21。让我们看看我们为什么要这样做以及它将如何惠及 Lucene。

在这篇博客文章中，我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力！我们在 Elastic 处理 knn 搜索的方式在不断进化，我们持续引入新功能和改进，因此这些参数和整体评估很可能很快就会过时！我们总是在密切关注，一旦发生变化，我们将确保跟进并相应调整我们的配置！需要记住的一件重要事情是，这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验，并根据自己的需求进行相应调整（例如，在某些情况下，召回率可能比延迟更重要）。

网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。

​Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库，它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。

在 .NET 世界中，与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持，该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的，由于其丰富的功能集和无缝的集成能力，很快就受到了开发人员的欢迎。在的近 14 年时间里，NEST 一直忠实地跟踪 Elasticsearch 的发布。

在这篇文章中，我们将讨论如何使用 RAG 技术（检索增强生成）和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。

向量数据库将数据组织成广阔的、多维空间中的点，而不是行和列。每个点代表一条数据，其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙，其中每颗行星都是一条数据，它们被组织成与相似的行星更近，与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点，这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质，这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中，两个点越接近，它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。

随着人工智能持续发展并在无数行业解决问题，技术的一个关键部分是能够无缝地桥接人类语言和机器理解之间的差距。这就是自然语言处理（NLP）和大型语言模型（LLMs）的用武之地。它们提供了独特而专业的方法，将人类沟通的力量与软件和机器连接起来。简单来说，NLP 和 LLMs 使我们能够与软件进行类似人类的对话。NLP 是翻译者，基于定义的规则和结构分析和操作人类语言。这使得机器能够理解语法、句法和上下文的细微差别，从而能够计算情感、提取信息和进行机器翻译。LLMs 则是大脑。通过大量的文本数据驱动，它