Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(1907)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elasticsearch 再次开源

在尝试了我们能想到的所有其他选项后,我们更改了许可证,知道这将导致 Elasticsearch 的分支以不同的名称和轨迹发展。] 我们选择 AGPL,而不是其他许可证,因为我们希望通过与 OSI 的合作,帮助在开源许可世界中拥有更多选择。嘿,也许随着事态的发展,AGPL 已经足够适合像我们这样的基础设施软件了(例如,Grafana 从 Apache2 迁移到 AGPL)。但是通过使用 AGPL,这个被 OSI 批准的许可证,我们可以再次使用 “开源” 这个词,这消除了人们可能存在的任何疑问或误解。

2024-08-30 18:17:04 3970

原创 Elastic 线下 Meetup 将于 2024 年 9 月 21 号在成都举办

2024 Elastic Meetup 成都站活动,由 Elastic、腾讯、新智锦绣联合举办,现诚邀广大技术爱好者及开发者参加。

2024-08-29 10:58:40 1548 1

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 23604 18

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................

2020-02-25 20:01:55 152106 96

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 16366 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 170210 31

原创 Elasticsearch:无状态世界中的数据安全

在最近的博客文章中,我们宣布了支持 Elastic Cloud Serverless 产品的无状态架构。通过将持久性保证和复制卸载到对象存储(例如 Amazon S3),我们获得了许多优势和简化。从历史上看,Elasticsearch 依靠本地磁盘持久性来确保数据安全并处理陈旧或孤立的节点。在本博客中,我们将讨论无状态的数据持久性保证,包括我们如何使用安全检查隔离新的写入和删除,以防止陈旧节点不安全地确认这些操作。

2024-09-07 18:55:47 1021 2

原创 从 ES|QL 到 Python 中的原生 Pandas 数据帧

自 Elasticsearch 8.15 或 Elasticsearch Serverless 以来,。这篇博文将向你展示如何在 Python 中利用它。在中,我演示了如何使用 CSV 作为中间表示将 ES|QL 查询转换为 Pandas 数据帧。不幸的是,CSV 需要显式类型声明,速度很慢(尤其是对于较大的数据集),并且不处理嵌套数组和对象。Apache Arrow 消除了所有这些限制。

2024-09-06 09:53:28 750

原创 在 Elastic 8.15 中使用最少的代码快速构建 RAG

作者:来自 ElasticElastic 8.15 已经发布,语义搜索比以往任何时候都更容易实现。就这样!让我们完成它。我们将介绍如何在 15 分钟内完成所有这些任务:将你的文档存储在某些数据存储服务中,例如 AWS S3 Bucket设置 Elastic Search 数据连接器使用 eland 库上传嵌入模型,在 Elastic 中设置推理 API将其连接到使用 semantic_text 数据类型的索引将你的 inference API 添加到该索引同步数据连接器立即使用 Elasti

2024-09-05 11:15:25 730

原创 人工智能造福公众:未来一片光明

我们如何衡量人工智能对政府的影响?毫无疑问,人工智能将为运营流程和决策带来的好处已被广泛讨论 —— 从自动化工作流程到节省成本再到减少重复工作。但对于以服务公众为目标的组织来说,人工智能的这些好处不仅限于业务指标,例如效率或收入增长。相反,人工智能带来的潜在效率和成本节约可以开辟空间和资源,用于提供有意义的公共服务,改善全球人民的生活质量。这听起来可能过于简单和理想化 —— 但它已经发生了。

2024-09-04 11:56:56 1102

原创 从零开始使用 LangGraph、LLaMA3 和 Elasticsearch 向量存储构建本地代理的教程

​在本教程中,我们将了解如何使用 LangGraph、LLaMA3 和 Elasticsearch Vector Store 从头开始​​创建可靠的代理。我们将结合 3 篇高级 RAG 论文中的想法:用于路由的自适应 RAG:根据内容将问题引导到向量存储或网络搜索纠正性 RAG 回退机制:使用该机制,当问题与向量存储不相关时,我们将引入回退检索,改为使用网络搜索。。用于自我校正的自我 RAG:此外,我们还将添加自我校正功能,以检查生成的内容是否存在幻觉或不相关的情况,如果不合适,我们将再次回退到网

2024-09-03 18:53:39 990

原创 Elasticsearch:使用 inference API 进行语义搜索

本教程中的说明向您展示了如何将 inference API 工作流与各种服务结合使用来对你的数据执行语义搜索。为了说明问题的方便,我将使用 Cohere 服务来进行详细说明。更多其它服务,请详细参阅。:有关在 Elastic Stack 中执行语义搜索的最简单方法,请参阅。在本次练习中,我们将使用的 embed-english-v3.0 模型。事实上,你可以使用任何 Cohere 和 OpenAI 模型,它们均受 inference API 支持。

2024-09-02 18:28:35 1530 1

原创 GenAI 客户支持 - 第 2 部分:构建知识库

​本系列博文揭示了我们的现场工程团队如何使用 Elastic Stack 和生成式 AI 开发出一款可爱又高效的客户支持聊天机器人。如果你提示的这一部分输出尽可能简洁的摘要,同时仍保持准确性。我们通过要求 LLM 多次检查其生成的文本并根据源文档检查准确性来实现这一点。指示了特定的指导方针,以便每个文档的输出都一致。用一篇文章亲自尝试这个提示,看看它可以生成什么样的结果。然后更改一个或多个指导方针并在新的聊天中运行提示,以观察输出的差异。`,我们创建第二个摘要,使我们能够搜索代表文章的整个文本的特定段落。

2024-09-02 13:35:18 1270

原创 Elasticsearch 高级 RAG 技术第 2 部分:查询和测试

此表总结了两个 RAG 管道的五项测试结果。我根据答案的细节和质量判断了每种方法的相对优越性,但这完全是主观判断。实际答案在此表下方重现,供你参考。话虽如此,让我们来看看他们做得怎么样!SimpleRAG 无法回答问题 1 和 5。AdvancedRAG 还对问题 2、3 和 4 进行了更详细的说明。基于增加的细节,我更好地判断了 AdvancedRAG 答案的质量。14.1s。

2024-09-01 15:11:54 1241

原创 Elasticsearch 高级 RAG 技术第 1 部分:数据处理

RAG 旨在通过从外部知识库检索信息来丰富生成的答案,从而增强 LLMs。通过提供特定领域的信息,LLM 可以快速适应其训练数据范围之外的用例;比微调便宜得多,而且更容易保持最新状态。提高知识库的质量和清晰度。提高搜索查询的覆盖率和特异性。这两项措施将实现提高 LLM 获得相关事实和信息的可能性的目标,从而不太可能产生幻觉或利用自己的知识 —— 这些知识可能已经过时或不相关。方法的多样性很难用几句话来阐明。让我们直接进入实施阶段,让事情更清楚。图 1:作者使用的 RAG 管道。

2024-09-01 14:09:34 1697

原创 Elasticsearch:使用 LTR 进行个性化搜索

如今,用户已经开始期待根据个人兴趣定制搜索结果。如果我们听的所有歌曲都是摇滚歌曲,那么在搜索 “Crazy” 时,我们会期望 Aerosmith 的歌曲排在搜索结果的首位,而不是 Gnarls Barkley 的歌曲。在本文中,我们将介绍个性化搜索的方法,然后以音乐偏好为例,深入探讨如何使用学习排名 (learning-to-rank: LTR) 来实现个性化搜索的具体方法。

2024-08-31 13:33:43 1722

原创 Elasticsearch 开放推理 API 增加了对 Anthropic 的 Claude 的支持

我们很高兴地宣布 Elasticsearch Open的最新功能:集成 Anthropic 的 Claude。这项功能使 Elastic 用户能够直接连接到 Anthropic 平台,并使用 Claude 3.5 Sonnet 等大型语言模型来构建 GenAI 应用程序,并实现问答等用例。以前,客户可以从 Amazon Bedrock 等提供商处访问此功能,但现在可以使用他们的 Anthropic 帐户来实现这些目的。

2024-08-30 19:01:10 3475

原创 Elasticsearch 回顾:向量搜索创新的时间线

回顾 Elasticsearch 最新 8.15.0 版本中围绕速度、规模和相关性的所有变化,我们取得的进步令人惊叹。这篇文章汇总并记录了 Elasticsearch 和 Lucene 中所有出色的工作,使其成为最佳向量数据库。如果你想了解更多有关其内部工作原理的信息,我们将深入探讨和其他的重大进展。

2024-08-29 10:23:12 1800

原创 Elasticsearch:使用 semantic_text 进行语义搜索

截止 8.15 版本,此功能处于测试阶段,可能会发生变化。设计和代码不如官方 GA 功能成熟,并且按原样提供,不提供任何保证。测试版功能不受官方 GA 功能的支持 SLA 约束。本教程向你展示如何使用 semantic text 功能对数据执行语义搜索。语义文本通过在提取时提供推理并自动提供合理的默认值来简化推理工作流程。你无需定义与模型相关的设置和参数,也无需创建推理提取管道。在 Elastic Stack 中使用的推荐方法是遵循 semantic_text 工作流程。

2024-08-23 19:21:13 1611

原创 Elasticsearch:使用 ELSER 进行语义搜索 - sparse_vector

Elastic Learned Sparse EncodeR(或 ELSER)是由 Elastic 训练的 NLP 模型,可让你使用稀疏向量表示执行语义搜索。语义搜索不是根据搜索词进行文字匹配,而是根据搜索查询的意图和上下文含义检索结果。本教程中的说明向你展示了如何使用 ELSER 对数据执行语义搜索。:有关在 Elastic Stack 中执行语义搜索的最简单方法,请参阅端到端教程。:使用 ELSER 进行语义搜索时,每个字段仅考虑前 512 个提取的标记。请参阅了解更多信息。

2024-08-23 16:01:11 1846 1

原创 重新审视 ChatGPT 和 Elasticsearch:RAG 真正将应用程序紧密结合在一起

自一年多前第一次发布此博客以来,发生了很多变化,我们在本博客中涵盖了很多内容。你从云 API 密钥开始,创建了 Elasticsearch Serverless 项目,生成了云 API 密钥,配置了 Open Web Crawler,爬取了三个 Elastic Lab 站点,对长文本进行了分块,生成了嵌入,测试了 RAG 应用程序的最佳聊天设置,并导出了代码!UI 在哪里,Vestal?请关注第二部分,我们将在其中将操场代码集成到具有 React 前端的 Python 后端中。

2024-08-23 11:49:41 2529

原创 阿里云魏子珺:阿里云Elasticsearch AI 搜索实践

作者:阿里云魏子珺【AI搜索 TechDay】是 Elastic 和阿里云联合主办的 AI 技术 Meetup 系列,聚焦企业级 AI 搜索应用和开发者动手实践,旨在帮助开发者在大模型浪潮下升级 AI 搜索,助力业务增长。本次分享聚焦于阿里云 ES 平台上的 AI 搜索实践与探索。经过团队研究,我们已在多个方向取得实质性进展。我先简要概述 ES 在 AI 领域的核心特性,提供一个概览性的理解。

2024-08-21 18:13:51 1556 1

原创 成为百万富翁的几率 vs. 被公交车撞的几率:一次 ES|QL 分析

Elasticsearch 查询语言 (ES|QL) 的出现对我们的用户来说是一个非常令人兴奋的消息。它大大简化了查询、分析和可视化存储在 Elasticsearch 中的数据,使其成为所有数据驱动用例的强大工具。ES|QL 附带各种函数和运算符,用于执行聚合、统计分析和数据转换。我们不会在本篇博文中介绍所有这些内容,但我们的文档非常详细,将帮助你熟悉该语言及其可能性。要立即开始使用 ES|QL 并运行博文查询,只需在Elastic Cloud 上开始试用,加载数据并运行你的第一个 ES|QL 查询。

2024-08-21 11:57:40 1574

原创 aNN 与 kNN:了解它们在向量搜索中的区别和作用

在当今的数字时代,数据呈指数级增长,且日益复杂,高效搜索和分析这一浩瀚信息海洋的能力从未如此重要。但同时也从未如此具有挑战性。这就像大海捞针,但挑战在于针的形状不断变化。这就是向量搜索作为游戏规则改变者出现的地方,它改变了我们与大型数据集的交互方式。它通过将数据转换为向量(多维空间中的数学表示)来实现这一点,从而实现更细致入微和上下文感知的搜索。向量搜索的核心是两种关键算法:近似最近邻 () 和 K 最近邻 (这些算法是增强搜索能力的基础,两者都具有各自的独特优势。

2024-08-21 10:43:15 1223

原创 超越 RAG 基础:AI 应用的高级策略

作者:来自我们最近深入探讨了检索增强生成 () 的世界,重点讨论了在概念验证阶段之后构建 RAG 应用程序的关键注意事项。我们的演讲者是 Elastic 的首席解决方案架构师 Lily Adler 和 Cohere 的高级产品经理 Maxime Voisin,他们就这一不断发展的自然语言处理 () 领域的挑战、解决方案和最佳实践分享了宝贵的见解。

2024-08-20 21:05:47 1515

原创 Elastic 被评为 2024 年 Gartner 可观测性平台魔力象限领导者

Elastic 被评为 2024 年 Gartner® 可观测性平台魔力象限™ 的领导者。随着运营团队处理日益复杂的问题和呈指数级增长的数据,对可观测性平台的需求也在不断演变。生成式 AI 等新兴趋势正在推动主动根本原因检测和解决的范式转变。我们认为 Elastic 在 2024 年 Gartner 可观测性平台魔力象限中被评为领导者,证明了 Elastic 所实现的创新。

2024-08-20 17:12:34 1214

原创 使用 Elasticsearch-DSL Python 客户端简化向量嵌入

在本文中,我们将介绍 Python 版 Elasticsearch-DSL 客户端,重点介绍它如何简化构建有时被 称为 “高级” Python 客户端,它提供对 Elasticsearch 数据库的惯用(或 “Pythonic”)访问,而官方(或 “低级”)Python 客户端则提供对 Elasticsearch 全部功能和端点的直接访问。使用 Elasticsearch-DSL 时,Elasticsearch 索引的结构(或 “mapping - 映射”)被定义为类,

2024-08-19 14:14:37 1696

原创 阿里云搜索专家实操:如何高效构建企业级 AI 搜索?

阿里云 AI 搜索的方案,基于阿里云 Elasticsearch Inference API,可以结合阿里云自研的 AI 模型服务,灵活的搭建语义搜索或者是 RAG 链路。AI 搜索可以基于 ES 语法进行灵活的编排,易用性更高,后面的实操环节大家可以具体体验下。直接使用大模型去进行语义搜索,不仅有成本的问题,还会有准确性的问题。阿里云 AI 搜索 RAG 全链路,不论是对文本的解析处理,还是切分、向量化,以及混合检索,其实都是为了提升搜索的准确率。通过提升搜索的准确率,拿到最精准的结果,然后再组成

2024-08-15 16:26:28 1550

原创 采用 Phi-3 小型模型和 Elastic 的智能订购系统

本文向你展示如何将 Microsoft 高效的与 Elastic 的语义搜索功能相结合,以创建智能的对话式订购系统。我们将介绍如何在 Azure AI Studio 上部署 phi-3、设置 Elastic 以及为一家意大利餐厅构建应用程序。4 月,Microsoft 宣布推出其最先进的系列,这些模型是经济高效的模型,经过优化,可在资源受限的条件下以低延迟执行,非常适合大规模/实时任务。这两个模型的最大支持上下文长度为 8K 和 128K 个 token,都是 7B 参数。

2024-08-14 16:11:15 2153

原创 Elasticsearch:使用 ES|QL 进行地理空间搜索

​多年来,Elasticsearch 一直具有强大的地理空间搜索和分析功能,但其 API 与典型的 GIS 用户习惯的 API 截然不同。在过去的一年中,我们添加了 ES|QL 查询语言,这是一种管道查询语言,与 SQL 一样简单,甚至更简单。它特别适合 Elastic 擅长的搜索、安全性和可观察性用例。我们还在 ES|QL 中添加了对地理空间搜索和分析的支持,使其使用起来更加容易,尤其是对于来自 SQL 或 GIS 社区的用户而言。

2024-08-13 10:50:38 1578

原创 Elasticsearch:引入 Serverless 精简索引分片

在本文中,我们将介绍 Elasticsearch 的精简索引分片(thin indexing shards),这是我们为开发的一种新型分片,允许将 Elasticsearch 索引存储在云对象存储中。我们首先回顾一下 Elasticsearch 目前如何存储和复制数据,然后再深入探讨精简索引分片为远程存储数据而引入的变化。我们将看到,精简索引分片之所以得名,是因为它们管理数据文件的生命周期,从在本地磁盘上创建到在对象存储中上传,再到最终从磁盘中删除,这只能暂时增加磁盘空间。

2024-08-12 15:37:27 1270

原创 Elasticsearch 8 RAG 技术分享

本文由Elastic 中国区首席架构师 Jerry Zhu 在【AI 搜索 TechDay】上的分享整理而成。【AI 搜索 TechDay】 是 Elastic 和阿里云联合主办的 AI 技术 Meetup 系列,聚焦企业级 AI 搜索应用和开发者动手实践,旨在帮助开发者在大模型浪潮下升级 AI 搜索,助力业务增长。

2024-08-12 11:19:12 1099

原创 停止项目大小调整,开始搜索层自动缩放!

Elastic serverless 是 Elastic 推出的一款完全托管产品,它使你无需管理底层 Elastic 基础设施即可部署和使用 Elastic 产品,而是专注于最大限度地利用数据。自我管理基础设施面临的挑战之一是应对客户不断变化的需求。在动态的数据管理世界中,灵活性和适应性至关重要,而传统的扩展方法往往不够完善,需要手动调整,这既耗时又不精确。借助搜索层自动扩展,我们的 serverless 产品会自动调整资源以实时满足你的工作负载需求。

2024-08-12 10:20:33 747

原创 GenAI 客户支持 - 第 2 部分:构建知识库

语义搜索的有效性取决于文档摘要的质量。我们的技术支持文章有由支持工程师编写的摘要,但我们提取的其他文档没有。考虑到我们提取的知识规模,我们需要一个自动化流程来生成这些摘要。最简单的方法是提取每个文档的前 280 个字符并将其用作摘要。我们对此进行了测试,发现这会导致搜索相关性较差。我们团队的一位工程师想出了一个主意,改用人工智能来做这件事。我们创建了一项新服务,利用 OpenAI GPT3.5 Turbo 来补充我们所有在提取时缺少摘要的文档。

2024-08-11 09:10:21 992

原创 Elastic Observability 8.15:AI 助手、OTel 和日志质量增强功能

Elastic Observability 8.15:AI 助手、OTel OpenTelemetry Collector 的 Elastic 分发现已推出公共技术预览版,为收集日志和分析主机健康状况提供无缝解决方案。借助 Elastic Distro for OpenTelemetry Collector,用户只需单击三次即可将日志和主机指标发送到他们的 Elastic Stack。收集和发送日志:使用 OpenTelemetry Collector 从各种来源收集日志数据并将其直接发送到 Elastic

2024-08-10 17:31:18 1416

原创 使用 Elastic 和 Mistral 构建多语言 RAG(二)

这篇文章是之前的文章 “” 的续篇。在这篇文章中,我将展示如何在本地部署中完成在那篇文章中的实现。:由于从版本开始提供,你需要至少 8.15 及以上的版本才可以运行下面的代码。

2024-08-09 12:22:30 1237

原创 Elastic Search 8.15:通过语义文本和重新排序实现可访问的语义搜索

作者:来自 Elastic在 8.15 中,我们的客户可以更轻松地获得出色的搜索结果。我们的最新版本带来了语义重新排名(semantic reranking)、额外的向量搜索工具和更多第三方模型提供商,并将我们的原生学习排名 (Learning to Rank - LTR) 推广到正式版。现在,搜索性能比以往任何时候都更高,速度和效率都有所提高。Elastic Search 8.15 现已- 这是唯一一款包含此最新版本所有新功能的托管 Elasticsearch 产品。你还可以。

2024-08-09 09:41:21 1286

原创 Elastic 8.15:更好的语义搜索、新的 OTel 分布、SIEM 数据导入

作者:来自 Elastic今天,我们很高兴地宣布 Elastic 8.15 正式发布。8.15 版本包含大量新功能,包括更多工具来优化相关性、增强模型的灵活性和改进向量搜索,以及在 AI 驱动的安全分析方面的进步,使得自定义 SIEM 数据的采集在几分钟内就能完成。继将 Elastic Common Schema (ECS) 和 Universal Profiling 捐赠给 OpenTelemetry (OTel) 项目后,8.15 还包括通过 OTel 收集器分发迁移到 OTel 优先数据架构的下一个重

2024-08-09 09:12:01 2813

原创 通过 Express Migration 轻松迁移到 Elastic 的 AI 驱动日志分析

Elastic 提供 AI 驱动的日志分析,并提供激励措施以加速从 Splunk 等传统日志供应商进行的日志迁移运营团队面临着一个充满挑战的环境:在数据量呈指数级增长的复杂、分布式、云原生环境中防止停机,同时避免成本失控。SRE 需要准确且具有上下文可观察性的见解来解决问题并确保弹性。建立在 Search AI 之上,通过基于 RAG 的 Elastic AI Assistant 的上下文见解提供。

2024-08-08 16:44:58 1050

原创 Elasticsearch 查询规则现已正式发布 - query rules

我们很高兴地宣布,查询规则已在我们的 serverless 产品中正式发布,并且将从堆栈版本8.15.0开始普遍可用。查询规则最初在 8.10.0 中作为技术预览功能引入,并允许索引维护者根据上下文查询输入的条件整理特定文档以将其固定在结果顶部。查询规则(query rules)允许使用细粒度、上下文特定的解决方案来更改特定查询或搜索用例的搜索结果。这对于需要将品牌或赞助结果固定在特定关键字的搜索结果列表顶部的广告系列很有帮助,但对于只需要 “修复” 顶部结果的热门查询也很有帮助。

2024-08-08 13:39:34 1247

04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825

本次分享将深入解析如何利用 Elastic 技术构建高效、稳定的运维架构。详细介绍 Elastic 在核心业务以及核心场景中的应用案例,探讨运维过程中的关键技术挑战与创新解决方案。以及未来 ES 新特性的应用和落地规划。

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825

1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825

1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825

1,为什么需要向量搜索? 2,向量相似度基本知识 3,使用向量搜索,RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

04-十倍性价比蜕变:腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727

腾讯云 ES 全新技术栈:采用读写分离、存算分离和查询/IO 并行化等先进技术,广泛应用于日志场景,实现冷热数据一体化搜索及弹性伸缩能力。 2023年助力腾讯云 CLS 节省过亿元成本,助力外部客户如跨越、嘀嗒等,成本普遍降低30%~80%。

2024-07-27

03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-07-27

02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727

腾讯云 ES 不仅提供了相对于传统向量数据库的更全面的 RAG 解决方案,同时在性能方面也有着独特的优势。 腾讯云 ES RAG 方案凭借紫霄 GPU 的强大性能和深度优化的自研内核,大幅提升了文本搜索与向量检索的效率和精度。

2024-07-27

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-07-27

02-B站Elasticsearch平台实践 王星轶 线上 20240619

1.为什么我们需要 Elasticsearch 平台, 在面对公司众多业务线时, 我们为业务接入与迭代效率贡献了什么 2.降低成本&资源隔离, 如何利用 es on k8s 实现业务质量与成本的双重优化 3.站内搜索是如何影响用户体验的, 我们应该怎样去优化检索的召回率与精确率

2024-06-20

01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-06-20

04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25

介绍阿里云 Elasticsearch Serverless 架构及其优势,并以淘宝母婴订单数据为例,展示如何快速将数据从数据库实时同步至 ES Serverless 中,并通过 Kibana 展示订单大盘进行运营分析。

2024-05-28

03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25

1. ES 插件概念与应用场景 2.ES 插件之常见的业务应用需求。 3.ES 插件探讨

2024-05-28

02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25

主要是分享一下主站引擎从 ES6 升级到 ES8 以及 Elasticsearch 同城双活的架构落地经验。主要体现在三个方面: 第一,主要是 ES 集群从 ES6 升级到 ES8 的优化实践;第二,主要是 ES 同城双活架构案例;第三,总结效果。

2024-05-28

01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-05-28

04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27

​使用 Elasticsearch 结合 Neo4j 提供的图搜索能力,以处理具有复杂关系的文档数据,增强档案领域内文档检索能力。

2024-04-29

03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-29

02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台

在当今的软件开发和运维领域,可观测性是构建稳健、可靠系统的关键。特别是在Kubernetes等复杂分布式系统中,有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术,构建一个现代化的可观测性平台,以在Kubernetes环境中实现全面的监控、分析和故障排查能力。

2024-04-29

01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-29

05-ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 2024.03.30

1. 安全大数据分析典型场景,面临的挑战 2. ES 在绿盟安全平台的应用情况,优化之路

2024-04-01

04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30

1.小米 Elasticsearch 服务现状与用户场景 2.在数据分层、数据压缩、部署架构优化上的成本治理实践 3.基于成本数仓开展的数据治理实践

2024-04-01

03-AI Assistant - 李捷 武汉 2024.03.30

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-01

02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30

1. 腾讯云 ES 结合 AI 实现混合搜索实战演练 2. AI 诊断专家的探索 (LLMOps) 3. 腾讯云 ES 8.11.3 版本 AI 能力解读

2024-04-01

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-01

04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024

围绕阿里云 Elasitcsearch Serverless 在超低成本、秒级弹性扩缩、云上免运维、API 兼容等多个方面,提供全流程使用 Demo 演示,及底层产品和技术架构的实现解读。

2024-01-08

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024

介绍用 Elasticsearch8 进行向量搜索开发的详细细节,包括调用 embedding 模型进行向量化,向量搜索 API 使用,最佳实践,语义搜索,混合搜索等等内容。

2024-01-08

03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024

关系型数据库中数据表的字段数量超过100个极为少见,在 Elasticsearch 中索引字段数量超过100个已是随处可见,当索引字段数量超过100个、1000个、10000个,Elasticsearch 带来了什么?

2024-01-08

01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-01-08

02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online

Elasticsearch 在业务上,主要用于一些业务检索场景(商品检索、订单检索等),构建在 ES 搜索引擎之上。在微盟体系中,商品中台 ES 承载了日均亿级别的查询和高频写入。经历过线上的一些性能挑战之后,逐步的沉淀了一些经验和理论。 本主题主要通过以下三个方面,来和大家探讨下 ES 在一些业务场景中的实操: 一、 ES 在商品中台的使用场景&落地沉淀:业务场景、规模介绍,如何高效率地支撑多业务线的检索迭代需求。 二、ES 在业务场景中的使用建议:通过一些建模的方法论,如何在一个业务选型中,进行合适的 ES 建模,业务研发,需要关注哪些场景,该从什么角度去做一些评估和选择,如何有效的设置一些索引。 三、基于业务场景的 ES 性能优化:ES 在业务的调优以及如何做优化,解决潜在问题风险,支持高频次的吞吐和写入查询。 最后呢,通过这些年与 ES 的恩爱情仇,提供一些ES,顶层的一些思考与方法论,一起交流,可以更轻松的使用ES,解决业务问题,提供商业价值。

2023-12-22

01-微盟 Elasticsearch 运维实践

Elasticsearch 作为开源的搜索引擎,在数据检索、大数据、日志分析等领域都有较好的表现。在微盟的生产环境中 ES 被广泛使用。 1、Elasticsearch 使用建议:介绍在使用 Elasticsearch 进行数据搜索和分析时,应该遵循的一些规范和建议,包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等,以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。 2、Elasticsearch 监控体系:介绍如何基于 Prometheus 和 Grafana 搭建一套 Elasticsearch 的监控体系。无侵入兼容自建 ES 与云 ES,实现微盟整个 ES 监控体系的落地。 3、Elasticsearch字段类型推荐:介绍 Elasticsearch 支持的多种字段类型,根据查询场景的特点和需求,选择最合适的类型的原则和建议,包括keyword/text/wildcard/long 类型等,以及分词器、查询方式等相关使用方法的影响和调优。 4、Elasticsearch 日常问题:分享一些在使用 Elasticsearch 过程中遇到的问

2023-12-22

04-腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博-最终版 12.02 2023 Beijing

腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博

2023-12-03

03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing

Vega 或 Vega-Lite二次开发 Kibana 接口可视化

2023-12-03

02-Elasticsearch 索引优化-小红书刘显鹏 12.02 2023 Beijing

Elasticsearch 索引优化

2023-12-03

01-ES-QL for Community - Chinese 12.03 2023 Beijing

详细描述 ES|QL 新的管道语言

2023-12-03

01-Elasticsearch Relevance Engine - meetup 11.16 2023

Elasticsearch Relevance Engine 是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型(LLM)集成的能力。

2023-11-17

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16

用 Apache SeaTunnel 以最快的方式,实现从 MySQL 到 ElasticSearch 实时同步,在本次分享中,我们将详细介绍这一解决方案的工作原理、如何配置和部署,以及实际的使用案例。

2023-11-17

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

2023-10-23

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

2023-10-23

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

2023-10-23

01-Elasticsearch Relevance Engine meetup 上海 10.21 2023

01-Elasticsearch Relevance Engine meetup 上海 10.21 2023

2023-10-23

04-腾讯云大数据 Elasticsearch 开启 Serverless 新范式 meetup 成都 8.19 2023

04-腾讯云大数据 Elasticsearch 开启 Serverless 新范式 meetup 成都 8.19 2023

2023-08-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除