Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(1928)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elasticsearch 数据提取 - 最适合这项工作的工具是什么?

了解在 Elasticsearch 中为你的搜索用例提取数据的所有不同方式。对于搜索用例,高效采集和处理来自各种来源的数据的能力至关重要。无论你处理的是 SQL 数据库、CRM 还是任何自定义数据源,选择正确的数据采集工具都会对你的 Elasticsearch 体验产生重大影响。在本博客中,我们将探索 Elastic Stack 的三种搜索数据采集工具:Logstash、客户端 API 以及我们的 Elastic Native Connectors + Elastic Connector Framewo

2024-06-22 12:59:51 1710 1

原创 Elasticsearch:倒数排序融合 - Reciprocal rank fusion - 8.14

此功能处于技术预览阶段,可能会在未来版本中更改或删除。语法可能会在正式发布之前发生变化。Elastic 将努力修复任何问题,但技术预览中的功能不受官方正式发布功能的支持 SLA 约束。倒数排序融合 (reciprocal rank fusion - RRF) 是一种将具有不同相关性指标的多个结果集组合成单个结果集的方法。RRF 无需调整,并且不同的相关性指标不必相互关联即可获得高质量的结果。:在今天的文章中,RFF 有别于之前版本。这个描述是从 8.14.0 开始的。在这个版本之前,请参阅 “

2024-06-21 16:45:19 2090 1

原创 使用 Llama 3 开源和 Elastic 构建 RAG

使用开源的 Llama 3 和 Elastic 构建 RAGLlama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者,根据已发布的指标,这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比,它具有良好的评估指标。该模型有两个变体,分别是 80 亿和 700 亿参数。值得注意的是,在撰写这篇博客时,Meta 仍在训练 400B+ 版本的 Llama 3。

2024-06-21 09:34:48 1127

翻译 Elasticsearch:不用高深的数学知识来理解 LLMs 是如何工作的

​我相信您同意,我们无法忽视生成式人工智能 (GenAI),因为我们不断被有关大型语言模型 (LLMs) 的主流新闻轰炸。你很可能已经尝试过 ChatGPT,甚至可能一直将其作为助手使用。我认为很多人对 GenAI 革命有一个基本疑问,即这些模型的明显智能来自哪里。在本文中,我将尝试用简单的术语解释生成式文本模型的工作原理,而不使用高级数学,以帮助你将它们视为计算机算法而不是魔法。

2024-06-20 20:39:43 2212

原创 使用 Elasticsearch 中的地理语义搜索增强推荐功能

浏览地理和富文本数据是一项重大挑战,尤其是对于景点推荐服务而言。当数据是非结构化和多语言数据时,处理大量且多样化的数据(例如评论、评分、图像、位置、标签和营业时间)会变得很复杂。Elasticsearch 的混合地理语义搜索(hybrird goe-semantic search)功能通过在单一平台内结合空间数据处理和高级向量文本分析,提供了实用的解决方案。无论你是在搜索地标还是适合家庭的景点,Elasticsearch 都能实现精确而高效的数据检索。

2024-06-19 08:59:37 1812 3

原创 搜索与人工智能相结合如何解决企业数据问题?

​组织正被数据淹没 —— 从安全事件日志和应用程序错误消息到物联网指标和帮助中心常见问题解答。这些丰富的信息通常存在于孤立的孤岛中,在整合这些信息以提升客户体验、提高运营弹性或降低安全风险方面面临巨大挑战。越来越多的企业发现自己只能存储这些数据或手动缓慢地解析这些数据。组织如何克服分散数据的挑战,转而利用这些数据来获得可操作的见解并解决问题?答案在于范例转变:解决阻碍组织实现所需业务成果的底层数据问题。生成式人工智能和搜索技术的交集体现了这种转变。虽然生成式人工智能带来了强大的计算智能 —— 能够从大

2024-06-18 08:13:33 1092

原创 Elasticsearch:智能 RAG,获取周围分块(二)

在之前的文章 “Elasticsearch:智能 RAG,获取周围分块(一)” 里,它介绍了如何实现智能 RAG,获取周围分块。在那个文章里有一个 notebook。为了方便在本地部署的开发者能够顺利的运行那里的 notebook。在本篇文章里,我来详述如何进行配置。

2024-06-17 10:38:46 1165

原创 生产中的 RAG:使你的生成式 AI 项目投入运营

检索增强生成 (RAG) 为组织提供了一个采用大型语言模型 (LLM) 的机会,即通过将生成式人工智能 (GenAI) 功能应用于其自己的专有数据。使用 RAG 可以降低固有风险,因为我们依赖受控数据集作为模型答案的基础,而不是依赖可能不可靠、与我们的用例无关或完全不正确的训练数据。但是,你必须不断管理 RAG 管道,以确保答案有根据且准确。本博客将探讨在生产中部署 RAG 功能的关键注意事项,并展示 Elastic Search AI 平台如何为你提供所需的洞察力,让你安心运行 RAG 管道。

2024-06-15 15:31:45 1240 4

原创 Elasticsearch:简化数据流的数据生命周期管理

​今天,我们将探索 Elasticsearch 针对数据流的新数据管理系统:数据流生命周期,从版本 8.14 开始提供。凭借其简单而强大的执行模型,数据流生命周期可让n 你专注于数据生命周期的业务相关方面,例如降采样和保留。在后台,它会自动确保存储数据的 Elasticsearch 结构得到有效管理。

2024-06-14 22:35:07 1136

原创 Elasticsearch:智能 RAG,获取周围分块(一)

在检索增强生成 (RAG) 领域,一个持续存在的挑战是找到输入大型语言模型 (LLM) 的最佳数据量。数据太少会导致响应不足或不准确,而数据太多会导致答案模糊。这种微妙的平衡启发我开发了一个专注于智能分块和利用 Elasticsearch 向量数据库的。

2024-06-13 13:50:50 1759

原创 使用 Elasticsearch 设计大规模向量搜索

在设计向量搜索体验时,可用选项的数量之多可能会让人感到不知所措。最初,管理少量向量很简单,但随着应用程序的扩展,这很快就会成为瓶颈。在本系列博文中,我们将探讨使用 Elasticsearch 在各种数据集和用例中运行大规模向量搜索的成本和性能。。该数据集包括从集合中的网页中提取的 1.38 亿个段落,使用嵌入到 1024 个维度中。对于这个实验,我们定义了一个可重现的轨道(track),你可以在自己的 Elastic 部署上运行它,以帮助你对自己的高保真密集向量搜索体验进行基准测试。

2024-06-13 11:02:09 2030 5

原创 LangChain 与 Elastic 合作为 RAG 添加向量数据库和语义重排序

在过去的一年中,我们看到了生成式人工智能领域的许多进展。许多新服务和库应运而生。LangChain 已成为使用大型语言模型 (LLM) 构建应用程序的最受欢迎的库,例如检索增强生成 (RAG) 系统。该库使原型设计和试验不同的模型和检索系统变得非常容易。为了在 LangChain 中实现对 Elasticsearch 的一流支持,我们最近将我们的集成从社区包提升为官方 LangChain 合作伙伴包。

2024-06-12 12:33:17 1283

原创 Elasticsearch:ES|QL 同步及 async 查询操作

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及将来在其他运行时中的数据。有关 ES|QL 和相关教程的概述,请参阅。在今天的文章中,我们将介绍 ES|QL 的异步操作。

2024-06-12 08:02:06 1249

原创 Elasticsearch 为时间序列数据带来存储优势

Elasticsearch 最近投资了对存储和查询时间序列数据的更好支持。存储效率一直是关注的主要领域,许多项目取得了巨大的成功,与将数据保存在标准索引中相比,可以节省高达 60-80% 的成本。在某些情况下,我们的系统实现了每个数据点不到一个字节的存储效率,与最先进的专业 TSDB 系统相媲美。在本文中,我们描述了我们的时间序列产品中包含的最有影响力的存储改进,并深入了解了我们期望我们的系统在存储效率方面表现更好和更差的场景。

2024-06-11 10:40:27 1877 1

原创 Elasticsearch:Open Crawler 发布技术预览版

多年来,Elastic 已经经历了几次 Crawler 迭代。最初是,后来发展成为,最近又发展成为。这些 Crawler 功能丰富,允许以稳健而细致的方式将网站数据导入 Elasticsearch。但是,如果用户想在自己的基础设施上运行这些 Crawler,他们也需要运行整个企业搜索。企业搜索代码库非常庞大,包含许多不同的工具,因此用户无法选择只运行 Crawler。由于企业搜索是私有代码,因此用户也不完全清楚他们正在运行什么。!

2024-06-10 11:04:07 3979 7

原创 如何在隔离环境中设置 LocalAI 以实现 GPU 驱动的文本嵌入

你是否想在 Elasticsearch 向量数据库之上构建 RAG 应用程序?你是否需要对大量数据使用语义搜索?你是否需要在隔离环境中本地运行?本文将向你展示如何操作。Elasticsearch 提供了多种方法来为你的数据创建嵌入以进行对称搜索。最流行的方法之一是将 E与 OpenAI、Cohere 或 Hugging Face 模型结合使用。这些平台支持许多可以在 GPU 上运行的大型、强大的嵌入模型。但是,第三方嵌入服务不适用于隔离系统,或者对有隐私问题和监管要求的客户不开放。

2024-06-09 09:22:54 1181 1

原创 使用 Elasticsearch 调用 OpenAI 函数

OpenAI 中的函数调用是指 AI 模型与外部函数或 API 交互的能力,使它们能够执行文本生成之外的任务。此功能使模型能够通过调用预定义函数来执行代码、从数据库检索信息、与外部服务交互等。该模型根据用户提示智能识别需要调用哪个函数,并使用适当的参数调用该函数。参数也可以由模型动态生成。数据检索:从数据库或 API 访问实时数据。(例如天气信息、股票价格)增强交互:执行需要逻辑和计算的复杂操作(例如,预订航班、安排会议)。与外部系统集成:与外部系统和工具交互(例如,执行脚本、发送电子邮件)。

2024-06-08 12:51:32 1125

原创 Elasticsearch:ES|QL 入门 - Python notebook

​截止今天,ES|QL 已经在 8.14 中正式发布。请详细阅读文章 “Elasticsearch 管道查询语言 ES|QL 现已正式发布”。在今天的文章中,我们将使用 Jupyter notebook 来展示使用 Elastic 发布的 Elasticsearch Python 客户端来访问 Elasticsearch 并针对 ES|QL 来进行查询

2024-06-07 16:07:35 1243

原创 Elastic Platform 8.14:ES|QL 正式发布、静态加密和向量搜索优化

Elastic Platform 8.14 提供了 Elasticsearch 查询语言 (ES|QL) 的正式发行版 (GA) — Elastic 中数据探索和操作的未来。它还包括其他几个新功能的正式发布本:ECK 上的 Logstash、用于远程集群的基于 API 密钥的安全模型、AIOps 日志模式分析、用于保留和下采样的内置数据流生命周期设置、仪表板链接面板等。

2024-06-07 10:11:25 1439 2

原创 Elastic Search 8.14:更快且更具成本效益的向量搜索,使用 retrievers 和重新排序提升相关性,RAG 和开发工具

我们致力于突破搜索开发的界限,并专注于为搜索构建者提供强大的工具。通过我们的最新更新,Elastic 对于处理以向量表示的大量数据的客户来说变得更加强大。这些增强功能保证了更快的速度、降低的存储成本以及软件和硬件之间的无缝集成。,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。你还可以和我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes),以获得自我管理的体验。

2024-06-06 15:45:32 1217

原创 Elasticsearch 管道查询语言 ES|QL 现已正式发布

今天,我们很高兴地宣布 ES|QL(Elasticsearch 查询语言)全面上市,这是一种从头开始设计的动态语言,用于转换、丰富和简化数据调查。在新的查询引擎的支持下,ES|QL 使用简单且熟悉的查询语法和并发处理来提供高级搜索,无论数据源和结构如何,都可以提高速度和效率。借助 ES|QL 的管道语法,用户可以轻松链接多个操作,简化复杂的数据调查并使查询更加直观和迭代。

2024-06-06 12:17:07 1308

原创 Elastic 8.14:用于简化分析的 Elasticsearch 查询语言 (ES|QL) 正式发布

8.14 版本最重要的标题是 ES|QL 的正式发布(GA),它是从头开始设计和专门构建的,可大大简化数据调查。在新的查询引擎的支持下,ES|QL 提供了具有并发处理的高级搜索功能,从而提高了速度和效率,而不受数据源和结构的影响。8.14 版本的其他重要组成部分包括向量搜索改进的 GA 以及新的生成式 AI 攻击发现安全功能的技术预览。解决方案的其他亮点包括以下内容。帮助开发人员实现现代搜索和发现体验。

2024-06-06 10:48:28 972

原创 Elasticsearch:ES|QL 查询 TypeScript 类型(二)

​在我之前的文章 “Elasticsearch:ES|QL 查询 TypeScript 类型(一)”,我们讲述了如何在 Nodejs 里对 ES|QL 进行查询。在今天的文章中,我们来使用一个完整的例子来进行详细描述。更多有关如何使用 Nodejs 来访问 Elasticsearch的知识,请参阅文章 “Elasticsearch:使用最新的 Nodejs client 8.x 来创建索引并搜索”。

2024-06-05 15:17:23 1525 1

原创 使用 Node.js 和 Azure Function App 自动更新 Elasticsearch 索引

维护最新数据至关重要,尤其是在处理频繁变化的动态数据集时。这篇博文将指导你使用 Node.js 加载数据,并通过定期更新确保数据保持最新。我们将利用 Azure Function Apps 的功能来自动执行这些更新,从而确保你的数据集始终是最新且可靠的。对于这篇博文,我们将使用,这是一种 RESTful Web 服务,提供有关近地小行星的详细信息。

2024-06-05 13:17:31 1212 1

原创 Elasticsearch:ES|QL 查询 TypeScript 类型(一)

JavaScript 客户端的未来版本可能会包含更多 ES|QL 帮助程序,例如使用生成器对大型结果集进行分页,以及对 Apache Arrow 的支持。不过,如果你想要一个记录数组(JavaScript 应用程序中的标准结构),则需要额外的努力来转换数据。我们所有的官方客户端都计划包含类似的帮助程序和工具,以使使用 ES|QL 查询尽可能简单。这些是相对简单的例子,重点介绍了如何在 JavaScript 客户端中使用新的 ES|QL 帮助程序,因此。,构建你的下一个 GenAI 应用程序!

2024-06-04 10:09:27 392 1

原创 Elastic Security 在 AV-Comparatives 的恶意软件防护测试中表现出色

针对真实恶意软件提供 100% 防护,零误报Elastic Security 在最近的 AV-Comparatives 恶意软件防护测试中取得了显著的成绩,防护率达到 100%,且对真实恶意软件样本无误报。这项独立评估凸显了我们致力于提供世界一流的恶意软件防护,实现零误报和零用户影响。

2024-06-03 12:08:45 1010

原创 Elastic Connectors:增量同步对性能的影响

影响增量同步性能的主要因素是什么?简而言之,就是提取的原始数据量。对于 Sharepoint Online 连接器,有一种特殊的逻辑可以通过增量 API 获取较少的数据。这节省了大量时间,因为增量 API 允许连接器不提取未更改的文件。文件往往很大,因此不下载和提取它们将节省大量时间。对于其他连接器,增量同步是通用的 - 它只是在将文档提取到 Elasticsearch 之前检查文档时间戳 - 如果此文档已在索引中并且时间戳没有更改,则不会提取它。

2024-06-03 09:32:47 2470 1

原创 【活动通知 — 线上 Meetup】:ES|QL 及 B 站 Elasticsearch 平台实践 - 6 月 19 日

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。

2024-06-03 08:34:01 1003 1

原创 Elasticsearch:基于多个 kNN 字段对文档进行评分

Elasticsearch 不仅仅是一个词法(文本)搜索引擎。 Elasticsearch 是多功能搜索引擎,除了传统的文本匹配之外,还支持 k 最近邻 (kNN) 搜索以及语义搜索。Elasticsearch 中的 kNN 搜索主要用于查找多维空间中给定点的 “最近邻居”。文档被表示为一组数字(向量),在搜索时,kNN 特征会获取更接近查询向量的相关文档。 kNN 搜索通常应用于涉及向量的场景,其中向量是通过使用深度神经网络的 “嵌入” 过程从文本、图像或音频创建的。

2024-06-02 10:05:49 1049

原创 城市之旅:使用 LLM 和 Elasticsearch 简化地理空间搜索(二)

​我们在之前的文章 “城市之旅:使用 LLM 和 Elasticsearch 简化地理空间搜索(一)”,在今天的练习中,我将使用本地部署来做那里面的 Jupyter notebook。

2024-05-31 23:19:19 1619

原创 城市之旅:使用 LLM 和 Elasticsearch 简化地理空间搜索(一)

探索如何从自然语言提问创建地理空间搜索。在下面的示例中,我们将演示一个请求在地铁站或兴趣点周围一定半径内的 Airbnb 房源列表的问题。你可以将这一日常用例扩展到其他地理空间搜索,例如在指定区域内寻找餐馆、景点、学校和其他地方。我们提供了一本,它将引导你完成设置数据集、将它们导入 Elasticsearch 以及设置生成式 AI 和 LLM 部分的过程。我们还会展示如何使用 Elasticsearch 进行地理空间搜索以及如何结合这两者。

2024-05-30 13:33:22 1279 3

原创 使用 retrievers 在 Elasticsearch 中进行语义重新排序

语义重新排序(semantic reranking)是一种方法,它允许我们利用快速检索方法的速度和效率,同时在其上分层语义搜索。它还允许我们立即将语义搜索功能添加到现有的 Elasticsearch 安装中。随着机器学习驱动的语义搜索的进步,我们拥有越来越多的工具可以从数百万个文档中快速找到匹配项。然而,就像为期末考试而临时抱佛脚一样,优化速度意味着要做出一些权衡,而这通常会以准确度的损失为代价。为了抵消这一点,我们看到一些工具在梯度的另一端出现并变得越来越可用。

2024-05-29 15:44:22 1356

原创 如何使用 Connector API 将数据提取到 Elasticsearch Serverless 中

Elasticsearch 支持一系列摄取方法。其中之一是 Elastic Connectors,它将 SQL 数据库或 SharePoint Online 等外部数据源与 Elasticsearch 索引同步。连接器对于在现有数据之上构建强大的搜索体验特别有用。例如,如果你管理一个电子商务网站,并希望通过跨产品目录的语义搜索来增强客户体验,Elastic Connectors 可以让这一切变得简单。如果你的产品目录存储在 Elastic 支持的。

2024-05-28 15:15:07 1408 2

原创 使用 Elasticsearch 作为 Azure OpenAI On Your Data 的向量数据库

"On Your Data" 使组织能够利用强大的 AI 模型(如 GPT-4 和 RAG 模型)构建最先进的对话体验。这样可以让大型语言模型基于你的私有数据,从而确保对话内容的知情性和准确性。在本文中,我想展示如何轻松启动一个 Elasticsearch 集群,使用 Elasticsearch 连接器来摄取数据,然后通过新的 Azure OpenAI 服务 "On Your Data" 集成来与这些数据进行对话。我们将在本文中使用的一个工具是最近新增的。

2024-05-27 16:35:42 1200 1

原创 如何为 kNN 搜索选择最佳 k 和 num_candidates

最佳 k 值在于通过实验和尝试找到最佳点。你希望使用足够的邻居(k 为较低侧)来捕获基本模式,但不要太多(k 为较高侧),以免模型过度受到噪声或不相关细节的影响。你还需要调整候选者,以便搜索结果在给定的 k 值下准确。在 Elasticsearch 中引入密集向量字段和 k-近邻(kNN)搜索功能为实现超越传统文本搜索的复杂搜索能力开辟了新天地。本文深入探讨了选择 k 值和 num_candidates 参数的最佳策略,并结合使用 Kibana 的实际例子进行了说明。

2024-05-25 10:35:56 1302

原创 Elasticsearch 开放 inference API 增加了对 Azure OpenAI 嵌入的支持

我们很高兴地宣布,Elasticsearch 现在在我们的开放 inference API 中支持,使开发人员能够将生成的嵌入存储到我们高度可扩展和高性能的向量数据库中。这一新功能进一步巩固了我们不仅致力于与 Microsoft 和 Azure 平台合作的承诺,而且还进一步巩固了我们为客户提供更灵活的 AI 解决方案的承诺。

2024-05-23 19:36:31 3444 2

原创 Elasticsearch 为在基于 Arm 的架构上运行 Elastic Search AI 平台的用户带来性能提升

Elasticsearch 为在基于 Arm 的架构上运行 Elastic Search AI 平台的用户带来性能提升

2024-05-23 18:52:02 525

原创 如何在 Elasticsearch 中选择精确 kNN 搜索和近似 kNN 搜索

使用嵌入计算查询的 kNN 有两种主要方法:精确和近似。 这篇文章将帮助你:了解什么是精确和近似 kNN 搜索 如何为这些方法准备索引 如何确定哪种方法最适合你的用例

2024-05-22 21:43:30 3938 5

原创 Elastic Cloud 将 Elasticsearch 向量数据库优化配置文件添加到 Microsoft Azure

今天,我们很高兴地宣布,我们的 Elastic Cloud Vector Search 优化硬件配置文件现已可供 Elastic Cloud on Microsoft Azure 用户使用。此硬件配置文件针对使用 Elasticsearch 作为向量数据库来存储密集或稀疏嵌入的应用程序进行了优化,以用于由 RAG(检索增强生成)支持的搜索和生成 AI 用例。

2024-05-22 09:27:54 1258

原创 使用 Elastic AI assistant for Observability 来分析日志

​在今天的文章中,我们来参考之前的文章 “Elastic AI Assistant for Observability 和 Microsoft Azure OpenAI 入门” 来使用 Elastic AI assistant 分析日志。在本文章中,我们不使用 Azure clould。这样我们之间来进入主题,以免失去注意力。在本文展示中,我将展示如何创建 knowledge base。

2024-05-21 16:31:02 1045

02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918

​1.Elastic 认证专家考试介绍 ​2.考纲介绍 ​3.备战介绍

2024-09-18

01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918

​1. ES watcher 知识介绍 ​2. 生产环境 watcher 失效问题排查及分析处理过程

2024-09-18

04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825

本次分享将深入解析如何利用 Elastic 技术构建高效、稳定的运维架构。详细介绍 Elastic 在核心业务以及核心场景中的应用案例,探讨运维过程中的关键技术挑战与创新解决方案。以及未来 ES 新特性的应用和落地规划。

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825

1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825

1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825

1,为什么需要向量搜索? 2,向量相似度基本知识 3,使用向量搜索,RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

04-十倍性价比蜕变:腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727

腾讯云 ES 全新技术栈:采用读写分离、存算分离和查询/IO 并行化等先进技术,广泛应用于日志场景,实现冷热数据一体化搜索及弹性伸缩能力。 2023年助力腾讯云 CLS 节省过亿元成本,助力外部客户如跨越、嘀嗒等,成本普遍降低30%~80%。

2024-07-27

03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-07-27

02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727

腾讯云 ES 不仅提供了相对于传统向量数据库的更全面的 RAG 解决方案,同时在性能方面也有着独特的优势。 腾讯云 ES RAG 方案凭借紫霄 GPU 的强大性能和深度优化的自研内核,大幅提升了文本搜索与向量检索的效率和精度。

2024-07-27

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-07-27

02-B站Elasticsearch平台实践 王星轶 线上 20240619

1.为什么我们需要 Elasticsearch 平台, 在面对公司众多业务线时, 我们为业务接入与迭代效率贡献了什么 2.降低成本&资源隔离, 如何利用 es on k8s 实现业务质量与成本的双重优化 3.站内搜索是如何影响用户体验的, 我们应该怎样去优化检索的召回率与精确率

2024-06-20

01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-06-20

04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25

介绍阿里云 Elasticsearch Serverless 架构及其优势,并以淘宝母婴订单数据为例,展示如何快速将数据从数据库实时同步至 ES Serverless 中,并通过 Kibana 展示订单大盘进行运营分析。

2024-05-28

03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25

1. ES 插件概念与应用场景 2.ES 插件之常见的业务应用需求。 3.ES 插件探讨

2024-05-28

02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25

主要是分享一下主站引擎从 ES6 升级到 ES8 以及 Elasticsearch 同城双活的架构落地经验。主要体现在三个方面: 第一,主要是 ES 集群从 ES6 升级到 ES8 的优化实践;第二,主要是 ES 同城双活架构案例;第三,总结效果。

2024-05-28

01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-05-28

04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27

​使用 Elasticsearch 结合 Neo4j 提供的图搜索能力,以处理具有复杂关系的文档数据,增强档案领域内文档检索能力。

2024-04-29

03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-29

02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台

在当今的软件开发和运维领域,可观测性是构建稳健、可靠系统的关键。特别是在Kubernetes等复杂分布式系统中,有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术,构建一个现代化的可观测性平台,以在Kubernetes环境中实现全面的监控、分析和故障排查能力。

2024-04-29

01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-29

05-ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 2024.03.30

1. 安全大数据分析典型场景,面临的挑战 2. ES 在绿盟安全平台的应用情况,优化之路

2024-04-01

04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30

1.小米 Elasticsearch 服务现状与用户场景 2.在数据分层、数据压缩、部署架构优化上的成本治理实践 3.基于成本数仓开展的数据治理实践

2024-04-01

03-AI Assistant - 李捷 武汉 2024.03.30

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-01

02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30

1. 腾讯云 ES 结合 AI 实现混合搜索实战演练 2. AI 诊断专家的探索 (LLMOps) 3. 腾讯云 ES 8.11.3 版本 AI 能力解读

2024-04-01

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-01

04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024

围绕阿里云 Elasitcsearch Serverless 在超低成本、秒级弹性扩缩、云上免运维、API 兼容等多个方面,提供全流程使用 Demo 演示,及底层产品和技术架构的实现解读。

2024-01-08

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024

介绍用 Elasticsearch8 进行向量搜索开发的详细细节,包括调用 embedding 模型进行向量化,向量搜索 API 使用,最佳实践,语义搜索,混合搜索等等内容。

2024-01-08

03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024

关系型数据库中数据表的字段数量超过100个极为少见,在 Elasticsearch 中索引字段数量超过100个已是随处可见,当索引字段数量超过100个、1000个、10000个,Elasticsearch 带来了什么?

2024-01-08

01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-01-08

02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online

Elasticsearch 在业务上,主要用于一些业务检索场景(商品检索、订单检索等),构建在 ES 搜索引擎之上。在微盟体系中,商品中台 ES 承载了日均亿级别的查询和高频写入。经历过线上的一些性能挑战之后,逐步的沉淀了一些经验和理论。 本主题主要通过以下三个方面,来和大家探讨下 ES 在一些业务场景中的实操: 一、 ES 在商品中台的使用场景&落地沉淀:业务场景、规模介绍,如何高效率地支撑多业务线的检索迭代需求。 二、ES 在业务场景中的使用建议:通过一些建模的方法论,如何在一个业务选型中,进行合适的 ES 建模,业务研发,需要关注哪些场景,该从什么角度去做一些评估和选择,如何有效的设置一些索引。 三、基于业务场景的 ES 性能优化:ES 在业务的调优以及如何做优化,解决潜在问题风险,支持高频次的吞吐和写入查询。 最后呢,通过这些年与 ES 的恩爱情仇,提供一些ES,顶层的一些思考与方法论,一起交流,可以更轻松的使用ES,解决业务问题,提供商业价值。

2023-12-22

01-微盟 Elasticsearch 运维实践

Elasticsearch 作为开源的搜索引擎,在数据检索、大数据、日志分析等领域都有较好的表现。在微盟的生产环境中 ES 被广泛使用。 1、Elasticsearch 使用建议:介绍在使用 Elasticsearch 进行数据搜索和分析时,应该遵循的一些规范和建议,包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等,以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。 2、Elasticsearch 监控体系:介绍如何基于 Prometheus 和 Grafana 搭建一套 Elasticsearch 的监控体系。无侵入兼容自建 ES 与云 ES,实现微盟整个 ES 监控体系的落地。 3、Elasticsearch字段类型推荐:介绍 Elasticsearch 支持的多种字段类型,根据查询场景的特点和需求,选择最合适的类型的原则和建议,包括keyword/text/wildcard/long 类型等,以及分词器、查询方式等相关使用方法的影响和调优。 4、Elasticsearch 日常问题:分享一些在使用 Elasticsearch 过程中遇到的问

2023-12-22

04-腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博-最终版 12.02 2023 Beijing

腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博

2023-12-03

03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing

Vega 或 Vega-Lite二次开发 Kibana 接口可视化

2023-12-03

02-Elasticsearch 索引优化-小红书刘显鹏 12.02 2023 Beijing

Elasticsearch 索引优化

2023-12-03

01-ES-QL for Community - Chinese 12.03 2023 Beijing

详细描述 ES|QL 新的管道语言

2023-12-03

01-Elasticsearch Relevance Engine - meetup 11.16 2023

Elasticsearch Relevance Engine 是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型(LLM)集成的能力。

2023-11-17

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16

用 Apache SeaTunnel 以最快的方式,实现从 MySQL 到 ElasticSearch 实时同步,在本次分享中,我们将详细介绍这一解决方案的工作原理、如何配置和部署,以及实际的使用案例。

2023-11-17

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

2023-10-23

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

2023-10-23

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

2023-10-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除