Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(1928)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elasticsearch:使用 Inference API 进行语义搜索

​在我之前的文章 “Elastic Search 8.12:让 Lucene 更快,让开发人员更快”,我有提到 Inference API。这些功能的核心部分始终是灵活的第三方模型管理,使客户能够利用当今市场上下载最多的向量数据库及其选择的转换器模型。在今天的文章中,我们将使用一个例子来展示如何使用 Inference API 来进行语义搜索。

2024-02-04 20:26:18 1698 1

原创 有什么不同? Elastic 数据层和 Amazon OpenSearch Service 层

了解 Elastic 和 Amazon OpenSearch Service 数据层之间的主要差异,以实现更智能、经济高效的数据管理。在数据管理领域,在讨论如何在不同的性能要求下提供和/或保留数据时,经常会出现 “热 (hot)”、“温 (warm)” 和 “冷 (cold)” 等术语。在将 Elastic® 的数据层与 Amazon OpenSearch Service 层进行比较时,还存在另一个挑战 - 相同的术语并不意味着相同的事情。

2024-02-04 10:55:29 1121

原创 如何在 Microsoft Azure 上部署和管理 Elastic Stack

Elastic® 用户可以从 Azure 门户中查找、部署和管理 Elasticsearch®。此集成提供了简化的入门体验,所有这些都使用你已知的 Azure 门户和工具,因此你可以轻松部署 Elastic,而无需注册外部服务或配置计费信息。在这篇博文中,你将了解如何在 Azure 上创建和管理 Elasticsearch,以及如何自动将 Azure 日志和指标引入 Elastic。

2024-02-04 09:59:18 1453

原创 Elastic 因其人工智能辅助可观察性而荣获 2024 年 EMA Allstars 奖

我们很高兴获得 2024 年 EMA 全明星奖。该奖项认可了 Elastic 专注于提供全栈可观测性解决方案,该解决方案为复杂的混合云部署提供统一的可见性和人工智能驱动的见解。EMA Allstars 奖旨在表彰重塑企业技术格局的开拓者和创新者。EMA 赞扬 Elastic Observability 的方法不仅打破了数据孤岛,而且还有助于更有效地分析系统和应用程序性能。这一认可强调了我们在开拓解决方案方面的作用,这些解决方案将为技术管理和卓越运营的未来进步铺平道路。

2024-02-03 12:08:42 974

原创 在 Elastic Agent 中为 Logstash 输出配置 SSL/TLS

要将数据从 Elastic Agent 安全地发送到 Logstash,你需要配置传输层安全性 (TLS)。 使用 TLS 可确保你的 Elastic Agent 将加密数据发送到受信任的 Logstash 服务器,并且你的 Logstash 服务器从受信任的 Elastic Agent 客户端接收数据。

2024-02-02 18:59:54 1147

原创 Beats:在单个服务器上配置多个 Beats 实例

本文档作为如何在同一服务器上配置和运行 Filebeat/Metricbeat/Auditbeat 的多个实例的指南。当你需要为同一台计算机上的不同应用程序或环境分离数据收集和处理时,此设置特别有用。在今天的展示中,我们将以 Filebeat 为例来进行展示。此方法也适用于其他的 Beats。

2024-02-02 17:20:46 880

原创 安全通信设置:使用 OpenSSL 为 Logstash 和 Filebeat 提供 SSL 证书

在为 Elasticsearch 采集数据时,我们经常使用到 Filebeat 及 Logstash。在我们之前的很多教程中,我们通常不为 Filebeat 和 Logstash 之前的通信做安全配置。如何为 Filebeat 及 Logstash 直接建立安全的链接?这个在很多的情况下是非常有用的。在我之前的文章 “”,我有涉及到这个问题。最主要的是,它是针对 Elastic Stack 8.x 而设计的。在今天的文章中,我将针对最普通的情况来进行展示。

2024-02-02 12:26:50 1546

原创 Elasticsearch:集群故障排除和优化综合指南

Elasticsearch 是一个强大的搜索和分析引擎,是许多数据驱动应用程序和服务的核心。它实时处理、分析和存储大量数据的能力使其成为当今快节奏的数字世界中不可或缺的工具。然而,与任何复杂的系统一样,Elasticsearch 可能会遇到影响其性能和可靠性的问题。了解这些问题、其根本原因以及如何解决这些问题对于维持 Elasticsearch 集群的健康和效率至关重要。本指南深入探讨了 Elasticsearch 集群中可能出现的十个最常见问题。

2024-02-01 20:08:08 1428

原创 Elasticsearch:将文档级安全性 (DLS) 添加到你的内部知识搜索

你的企业很可能淹没在内部数据中。你拥有问题跟踪、笔记记录、会议记录、维基页面、视频录制、聊天以及即时消息和私信。并且不要忘记电子邮件!难怪如此多的企业都在尝试创造工作场所搜索体验 - 为员工提供集中、一站式的内部信息搜索服务。通过 Elastic 的连接器()目录,这相对容易做到。但是,当你将所有数据编入索引并准备好进行搜索后,如何确保其安全?毕竟,苔丝(来自工程部门)不应该查看鲍勃(来自人力资源部门)关于绩效评估的笔记。

2024-02-01 17:06:15 1594 2

原创 Elasticsearch:Geoshape query

与 geo_point 类型类似,geo_shape 查询使用GeoJSON来表示形状。有关如何制作 GeoJSON,请参考我的另外一篇文章 “Elasticsearch:如何制作 GeoJSON 文件并进行地理位置搜索13.0,52.0],14.0,52.0],14.0,53.0],13.0,53.0],13.0,52.0refresh"query": {"bool": {"must": {},"shape": {},

2024-02-01 11:56:37 1091

原创 Elasticsearch:构建自定义分析器指南

在本博客中,我们将介绍不同的内置字符过滤器、分词器和分词过滤器,以及如何创建适合我们需求的自定义分析器

2024-01-31 17:52:03 1666

原创 永久删除 Elasticsearch 中的主节点

Elasticsearch 是一个开源分布式搜索和分析引擎,用于各种任务,例如全文搜索、日志分析和实时数据分析。Elasticsearch 集群由一个或多个节点组成,每个节点可以具有多种角色,包括主节点(master node)、数据节点 (data node)、摄取节点 (ingest node) 和机器学习节点 (machine learning node)。在本文档中,我们将重点讨论从 Elasticsearch 集群中永久删除一个主节点。

2024-01-31 11:51:49 1289

原创 Observability:在 Elastic Stack 8.12 中使用 Elastic Agent 性能预设

​最新版本 8.12 标志着 Elastic Agent 和 Beats 调整方面的重大转变。 在此更新中,Elastic® 引入了 Performance Presets,旨在简化用户的调整过程并增强默认设置以提高性能。

2024-01-30 15:54:21 1542

原创 Elasticsearch:如何为 Elastic Stack 配置 AI Assistant

Elastic 推出了 Observability AI Assistant,这是一款利用生成式 AI 来增强你的 Observability 体验的强大工具。该 AI 助手由 OpenAI 或 Azure OpenAI 服务的连接器提供支持,可带来上下文洞察和聊天功能,以简化可观察性环境中的交互。

2024-01-29 17:01:44 1567

原创 Elasticsearch:一年中最神奇的时刻:利用语义搜索寻找最喜庆的哈利·波特时刻

让我们踏上一段神奇的旅程,将《哈利·波特》书籍转变为 NLP 索引,并使用 Elastic Python 客户端和向量搜索功能进行一些非常酷、非常喜庆的搜索。中获取了书籍,并在 Python Notebook 中进行了一些额外的处理,以使它们的形状适合我们的索引。我们的新结果看起来比之前的搜索有趣得多 - 之前的搜索只是专注于在书中查找 “Christmas”一词,而不是为搜索捕获更多上下文。现在我们有了一个复杂的索引,其中包含各种 ML 字段,我们可以使用它们来进行神奇的搜索。让我们添加一些情绪。

2024-01-25 17:17:33 1043

原创 将 Amazon Bedrock 与 Elasticsearch 和 Langchain 结合使用

Amazon Bedrock 是一项完全托管的服务,通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FMs) 选择,以及广泛的 构建生成式 AI 应用程序所需的功能,简化开发,同时维护隐私和安全。由于 Amazon Bedrock 是无服务器的,因此你无需管理任何基础设施,并且可以使用你已经熟悉的 AWS 服务将生成式 AI 功能安全地集成和部署到你的应用程序中。

2024-01-25 09:24:12 1421 1

原创 Elasticsearch:为什么 Splunk 客户面临可观察性和现代化的选择?

Elastic Observability 快速、简单且面向未来世界各地的企业都面临着充满挑战的环境:成本压力增加,加上复杂的分布式云原生环境生成的大量数据。因此,团队需要从任何地方即时对所有数据进行更智能的分析、访问和保留,以解决问题、做出决策并确保弹性。

2024-01-24 15:39:44 1808 2

原创 Elasticsearch:使用 Gemini、Langchain 和 Elasticsearch 进行问答

本教程演示如何使用创建并将其存储在 Elasticsearch 中。我们将学习如何将 Gemini 连接到 Elasticsearch 中存储的私有数据,并使用构建问答功能。

2024-01-23 15:16:07 1687 1

原创 Elasticsearch:Simulate ingest API

Ingest pipeline 为我们摄入数据提供了极大的方便。在我之前的文章中,有非常多的有关 ingest pipeline 的文章。请详细阅读文章 “针对一组提供的文档执行摄取管道,可以选择使用替代管道定义。Simulate ingest API 旨在用于故障排除或管道开发,因为它实际上并不将任何数据索引到 Elasticsearch 中。:这个功能在 Elastic Stack 8.12 开始提供。

2024-01-23 09:06:51 1386

原创 Elasticsearch:聊天机器人、人工智能和人力资源:电信公司和企业组织的成功组合

​生成式 AI 和 Elastic Stack 的绝佳组合。现在,想象一下大型电信公司的典型人力资源部门 — 他们正在处理一百万件事情,对吗?从回答无休止的员工查询到处理数据和报告的细节,它可能会变得相当繁重,尤其是在电信等行业,员工地理位置分散,在现场、办公室和家里担任各种角色。但这就是我们的科技超级英雄发挥作用的地方。将生成式人工智能视为聪明而精明的朋友,他知道该说什么以及何时说。这不是普通的人工智能;它是一种人工智能。我们正在谈论的系统可以快速响应、做出预测

2024-01-23 08:25:36 1629

原创 Elastic Observability 8.12:AI 助手、SLO 和移动 APM 支持的正式发布

作者:来自 Elastic Tom Grabowski, Akhilesh PokhariyalElastic® Observability 8.12 宣布 AI Assistant 全面上市 (正式发布)、服务级别目标 (SLO) 和移动 APM 支持:Elastic Observability 8.12 现已在 Elastic Cloud 上推出,这是唯一包含最新版本中所有新功能的托管 Elasticsearch® 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic C

2024-01-22 15:21:46 1236

原创 Elastic Search 8.12:让 Lucene 更快,让开发人员更快

Elastic Search 8.12 包含新的创新,可供开发人员直观地利用人工智能和机器学习模型,通过闪电般的快速性能和增强的相关性来提升搜索体验。此版本的 Elastic® 基于 Apache Lucene 9.9()构建,并更新了一些我们最流行的集成(),例如 Amazon S3、MongoDB、MySQL 等。我们的 inference API 抽象了单个 API 调用背后嵌入管理的复杂性,并且 kNN 现在已提升为查询 (query) 类型。

2024-01-22 12:50:57 1500

原创 Elasticsearch:2023 年 Lucene 领域发生了什么?

2023 年刚刚结束,又是 Apache Lucene 开发活跃的一年。让我们花点时间回顾一下去年的亮点。

2024-01-22 09:16:16 1456

原创 Elasticsearch:介绍 kNN query,这是进行 kNN 搜索的专家方法

介绍 kNN query,这是进行 kNN 搜索的专家方法。详细介绍 kNN search 及 kNN query 的区别。

2024-01-22 07:36:00 2122 1

原创 Elastic Stack AIOps Labs 8.12:日志率分析的正式发布

Elastic Stack AIOps Labs 8.12 引入了的正式版本,该功能使用高级统计方法来确定日志率增加或减少的原因。该工具可在 Kibana® 的机器学习部分中找到,它简化了识别导致日志率异常峰值或下降的原因的任务:根本原因是堆栈中的特定服务吗?是否仅限于特定地区?导致此更改的日志消息之间是否存在共同特征?从历史上看,解决这些调查需要 SRE 花费大量时间手动比较日志和元数据,以确定日志速率的变化是否代表真正的问题,如果是,则确定其根本原因。

2024-01-21 11:30:48 1065

原创 快速入门:使用 Gemini Embeddings 和 Elasticsearch 进行向量搜索

Gemini 是 Google DeepMind 开发的多模态大语言模型家族,作为 LaMDA 和 PaLM 2 的后继者。由 Gemini Ultra、Gemini Pro 和 Gemini Nano 组成,于 2023 年 12 月 6 日发布,定位为 OpenAI 的竞争者 GPT-4。本教程演示如何使用 Gemini API 创建嵌入并将其存储在 Elasticsearch 中。Elasticsearch 将使我们能够执行向量搜索 (Knn) 来查找相似的文档。

2024-01-20 15:22:46 1020

原创 使用 Elasticsearch 进行日志重复数据删除

在深入研究防止这些重复项进入你的日志平台的各种方法之前,我们需要了解什么是重复项。在我之前担任软件工程师时,我负责开发和维护庞大的微服务生态系统。有些人考虑过重试逻辑,在一段时间后,将正常关闭服务并触发适当的警报。然而,并非所有服务都是为了妥善处理这些情况而构建的。服务配置错误也会导致事件重复。无意中将生产日志级别从 WARN 更改为 TRACE 可能会导致日志记录平台必须处理更严重的事件量。Elasticsearch 会自动为摄取的每个文档生成唯一 ID,除非文档在摄取时包含 _id 字段。

2024-01-19 07:29:10 1469

转载 Logstash 实用介绍

Logstash 是一款基于插件的数据收集和处理引擎。Logstash 配有大量的插件,以便人们能够轻松进行配置以在多种不同的架构中收集、处理并转发数据。处理过程可分为一个或多个管道。在每个管道中,会有一个或多个输入插件接收或收集数据,然后这些数据会加入内部队列。默认情况下,这些数据很少并且会存储于内存中,但是为了提高可靠性和弹性,也可进行配置以扩大规模并长期存储在磁盘上。处理线程会以小批量的形式从队列中读取数据,并通过任何配置的过滤插件按顺序进行处理。

2024-01-18 21:32:16 252

原创 Elastic Stack 8.12:通过对 ES|QL 等的改进增强了向量搜索

Stack 8.12 构建于 Apache Lucene 9.9()之上,基于我们对标量量化和搜索并发性的贡献,为文本、向量和混合搜索带来了巨大进步。此版本还优化了 Elasticsearch® 中的查询并行化以及 Kibana® 的增强功能,包括仪表板中的 ES|QL 查询编辑。Elastic Stack 8.12 现已,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。你还可以。

2024-01-18 15:33:39 2070 1

原创 Elastic 8.12:AI Assistant for Observability 正式发布,更新至 Apache Lucene 9.9

我们很高兴地宣布 Elastic® 8.12 全面上市。8.12 版本的两个最重要的组成部分包括 Elastic AI Assistant for Observability 的 正式发布版 和 Apache Lucene 9.9 的更新(有史以来最快的版本),其中 Elastic 为服务客户用例而贡献了关键创新

2024-01-18 09:17:33 1651

原创 Elasticsearch:将数据从 Snowflake 摄取到 Elasticsearch

为了利用 Elasticsearch® 提供的强大搜索功能,许多企业在 Elasticsearch 中保留可搜索数据的副本。Elasticsearch 是一种经过验证的技术,适用于传统文本搜索以及用于语义搜索用例的向量搜索。Elasticsearch Relevance EngineTM (ESRE) 使你能够在专有数据上添加语义搜索,这些数据可以与生成式 AI 技术集成以构建现代搜索体验。

2024-01-17 19:06:06 1197

原创 Elasticsearch:和 LIamaIndex 的集成

LlamaIndex 是一个数据框架,供 LLM 应用程序摄取、构建和访问私有或特定领域的数据。llama-index 目前仅支持 ExactMatchFilters。Elasticsearch 支持多种过滤器,包括范围过滤器、地理过滤器等。要使用这些过滤器,你可以将它们作为字典列表传递给 es_filter 参数。

2024-01-17 14:46:42 1669

原创 使用 Elasticsearch 和 LlamaIndex 进行高级文本检索:句子窗口检索

句子窗口检索背后的核心思想是根据查询有选择地从自定义知识库中获取上下文,然后利用该上下文的更广泛版本来生成更强大的文本。此过程涉及嵌入一组有限的句子以供检索,这些句子周围的附加上下文(称为 “窗口上下文 - window context”)单独存储并链接到它们。一旦识别出最相似的句子,就会在将这些句子发送到大型语言模型 (LLM) 进行生成之前重新整合上下文,从而丰富整体上下文理解。通过将焦点缩小到特定的句子窗口,SWR 旨在提高信息提取的准确性和相关性,从而促进文本的全面合成。

2024-01-16 15:44:43 2505

原创 Elasticsearch:聊天机器人教程(二)

​这是继上一篇文章 “Elasticsearch:聊天机器人教程(一)”的续篇 本教程的这一部分讨论聊天机器人实现中最有趣的方面,以帮助你理解它并对其进行自定义。

2024-01-15 14:58:38 1399

原创 Elasticsearch:聊天机器人教程(一)

在本教程中,你将构建一个大型语言模型 (LLM) 聊天机器人,该机器人使用称为的模式。使用 RAG 构建的聊天机器人可以克服 ChatGPT 等通用会话模型所具有的一些限制。作为一个额外的好处,RAG 可以帮助 LLM 以事实为 “基础”,使他们不太可能做出回应或 “产生幻觉”。

2024-01-15 13:05:09 2610 6

原创 Elasticsearch:是时候离开了! - 在 Elasticsearch 文档上使用 TTL

想象一下,圣诞老人必须向世界上所有的孩子们分发礼物。他有很多工作要做,他需要保持高效。他有一份所有孩子的名单,并且知道他们住在哪里。他很可能会将礼物按区域分组,然后再交付。但他不会在同一个地方停留太久。他会丢下礼物然后离开。他不会等待孩子们打开礼物。他就会离开。也许我们可以建议他列出一份他仍然需要访问的城市的清单。一旦他送出了礼物,他就可以将这些城市从名单中删除。这样,他就会知道自己还要去哪里。而且他也不会浪费时间回到同一个地方。

2024-01-12 15:35:40 1437

原创 Kibana:使用反向地理编码绘制自定义区域地图

Elastic 地图(Maps)附带预定义区域,可让你通过指标快速可视化区域。地图还提供了绘制你自己的区域地图的功能。你可以使用任何您想要的区域数据,只要你的源数据包含相应区域的标识符即可。但是,当源数据不包含区域标识符时,如何绘制这些区域呢?这就是反向地理编码(reverse geocoding)的用武之地。反向地理编码是根据要素的位置为其分配区域标识符的过程。在本教程中,你将使用反向地理编码按网络流量可视化美国人口普查局综合统计区 (CSA) 区域。

2024-01-12 09:17:11 1162

原创 效率交响曲:AIOps 协调卓越运营

让我们先澄清一些与不同 Ops 的一些单并非全部相关的关键概念:你可能已经听说过 DevOps。它是一种通过协作和自动化促进交付来集成软件开发团队 (Dev) 和运营团队 (Ops) 工作的方法。认识到数据的持续增长和相关挑战,你可以将 DataOps 理解为 DevOps 原则和实践在数据上的应用。这是一个通过管理整个数据生命周期使正确的数据到达正确位置的过程。

2024-01-11 08:11:36 1151

原创 Elasticsearch 地理空间搜索 - 远超 OpenSearch

OpenSearch 和 OpenSearch Dashboards 开始作为 Elasticsearch 和 Kibana 的分支。尽管 OpenSearch 和 OpenSearch Dashboards 具有相似的血统,但它们不提供相同的功能。在分叉时,只能克隆开源许可的功能。这给 OpenSearch 留下了一部分功能。自分叉以来,这种功能差距已经扩大。

2024-01-11 07:37:37 1231

原创 圣诞老人遇见 GenAI:利用大语言模型、LangChain 和 Elasticsearch 破译手写的圣诞信件

在北极的中心地带,圣诞老人的精灵团队面临着巨大的后勤挑战:如何处理来自世界各地儿童的数百万封信件。圣诞老人表情坚定,他决定是时候将人工智能纳入圣诞节行动了。圣诞老人坐在配备了最新人工智能技术的电脑前,开始在 Jupyter Notebook 中编写 Python 脚本。我们的目标既简单又雄心勃勃:利用生成式人工智能和 LLM 的力量来解释手写字母并提取必要的数据,并将其组织在 Elasticsearch 中。

2024-01-10 14:49:29 7531 3

02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918

​1.Elastic 认证专家考试介绍 ​2.考纲介绍 ​3.备战介绍

2024-09-18

01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918

​1. ES watcher 知识介绍 ​2. 生产环境 watcher 失效问题排查及分析处理过程

2024-09-18

04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825

本次分享将深入解析如何利用 Elastic 技术构建高效、稳定的运维架构。详细介绍 Elastic 在核心业务以及核心场景中的应用案例,探讨运维过程中的关键技术挑战与创新解决方案。以及未来 ES 新特性的应用和落地规划。

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825

1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825

1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825

1,为什么需要向量搜索? 2,向量相似度基本知识 3,使用向量搜索,RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

04-十倍性价比蜕变:腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727

腾讯云 ES 全新技术栈:采用读写分离、存算分离和查询/IO 并行化等先进技术,广泛应用于日志场景,实现冷热数据一体化搜索及弹性伸缩能力。 2023年助力腾讯云 CLS 节省过亿元成本,助力外部客户如跨越、嘀嗒等,成本普遍降低30%~80%。

2024-07-27

03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-07-27

02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727

腾讯云 ES 不仅提供了相对于传统向量数据库的更全面的 RAG 解决方案,同时在性能方面也有着独特的优势。 腾讯云 ES RAG 方案凭借紫霄 GPU 的强大性能和深度优化的自研内核,大幅提升了文本搜索与向量检索的效率和精度。

2024-07-27

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-07-27

02-B站Elasticsearch平台实践 王星轶 线上 20240619

1.为什么我们需要 Elasticsearch 平台, 在面对公司众多业务线时, 我们为业务接入与迭代效率贡献了什么 2.降低成本&资源隔离, 如何利用 es on k8s 实现业务质量与成本的双重优化 3.站内搜索是如何影响用户体验的, 我们应该怎样去优化检索的召回率与精确率

2024-06-20

01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-06-20

04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25

介绍阿里云 Elasticsearch Serverless 架构及其优势,并以淘宝母婴订单数据为例,展示如何快速将数据从数据库实时同步至 ES Serverless 中,并通过 Kibana 展示订单大盘进行运营分析。

2024-05-28

03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25

1. ES 插件概念与应用场景 2.ES 插件之常见的业务应用需求。 3.ES 插件探讨

2024-05-28

02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25

主要是分享一下主站引擎从 ES6 升级到 ES8 以及 Elasticsearch 同城双活的架构落地经验。主要体现在三个方面: 第一,主要是 ES 集群从 ES6 升级到 ES8 的优化实践;第二,主要是 ES 同城双活架构案例;第三,总结效果。

2024-05-28

01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-05-28

04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27

​使用 Elasticsearch 结合 Neo4j 提供的图搜索能力,以处理具有复杂关系的文档数据,增强档案领域内文档检索能力。

2024-04-29

03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-29

02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台

在当今的软件开发和运维领域,可观测性是构建稳健、可靠系统的关键。特别是在Kubernetes等复杂分布式系统中,有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术,构建一个现代化的可观测性平台,以在Kubernetes环境中实现全面的监控、分析和故障排查能力。

2024-04-29

01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-29

05-ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 2024.03.30

1. 安全大数据分析典型场景,面临的挑战 2. ES 在绿盟安全平台的应用情况,优化之路

2024-04-01

04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30

1.小米 Elasticsearch 服务现状与用户场景 2.在数据分层、数据压缩、部署架构优化上的成本治理实践 3.基于成本数仓开展的数据治理实践

2024-04-01

03-AI Assistant - 李捷 武汉 2024.03.30

1. Elastic AI 助手概述:定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示:Elastic AI 助手提升运维效率

2024-04-01

02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30

1. 腾讯云 ES 结合 AI 实现混合搜索实战演练 2. AI 诊断专家的探索 (LLMOps) 3. 腾讯云 ES 8.11.3 版本 AI 能力解读

2024-04-01

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-04-01

04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024

围绕阿里云 Elasitcsearch Serverless 在超低成本、秒级弹性扩缩、云上免运维、API 兼容等多个方面,提供全流程使用 Demo 演示,及底层产品和技术架构的实现解读。

2024-01-08

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024

介绍用 Elasticsearch8 进行向量搜索开发的详细细节,包括调用 embedding 模型进行向量化,向量搜索 API 使用,最佳实践,语义搜索,混合搜索等等内容。

2024-01-08

03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024

关系型数据库中数据表的字段数量超过100个极为少见,在 Elasticsearch 中索引字段数量超过100个已是随处可见,当索引字段数量超过100个、1000个、10000个,Elasticsearch 带来了什么?

2024-01-08

01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-01-08

02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online

Elasticsearch 在业务上,主要用于一些业务检索场景(商品检索、订单检索等),构建在 ES 搜索引擎之上。在微盟体系中,商品中台 ES 承载了日均亿级别的查询和高频写入。经历过线上的一些性能挑战之后,逐步的沉淀了一些经验和理论。 本主题主要通过以下三个方面,来和大家探讨下 ES 在一些业务场景中的实操: 一、 ES 在商品中台的使用场景&落地沉淀:业务场景、规模介绍,如何高效率地支撑多业务线的检索迭代需求。 二、ES 在业务场景中的使用建议:通过一些建模的方法论,如何在一个业务选型中,进行合适的 ES 建模,业务研发,需要关注哪些场景,该从什么角度去做一些评估和选择,如何有效的设置一些索引。 三、基于业务场景的 ES 性能优化:ES 在业务的调优以及如何做优化,解决潜在问题风险,支持高频次的吞吐和写入查询。 最后呢,通过这些年与 ES 的恩爱情仇,提供一些ES,顶层的一些思考与方法论,一起交流,可以更轻松的使用ES,解决业务问题,提供商业价值。

2023-12-22

01-微盟 Elasticsearch 运维实践

Elasticsearch 作为开源的搜索引擎,在数据检索、大数据、日志分析等领域都有较好的表现。在微盟的生产环境中 ES 被广泛使用。 1、Elasticsearch 使用建议:介绍在使用 Elasticsearch 进行数据搜索和分析时,应该遵循的一些规范和建议,包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等,以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。 2、Elasticsearch 监控体系:介绍如何基于 Prometheus 和 Grafana 搭建一套 Elasticsearch 的监控体系。无侵入兼容自建 ES 与云 ES,实现微盟整个 ES 监控体系的落地。 3、Elasticsearch字段类型推荐:介绍 Elasticsearch 支持的多种字段类型,根据查询场景的特点和需求,选择最合适的类型的原则和建议,包括keyword/text/wildcard/long 类型等,以及分词器、查询方式等相关使用方法的影响和调优。 4、Elasticsearch 日常问题:分享一些在使用 Elasticsearch 过程中遇到的问

2023-12-22

04-腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博-最终版 12.02 2023 Beijing

腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博

2023-12-03

03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing

Vega 或 Vega-Lite二次开发 Kibana 接口可视化

2023-12-03

02-Elasticsearch 索引优化-小红书刘显鹏 12.02 2023 Beijing

Elasticsearch 索引优化

2023-12-03

01-ES-QL for Community - Chinese 12.03 2023 Beijing

详细描述 ES|QL 新的管道语言

2023-12-03

01-Elasticsearch Relevance Engine - meetup 11.16 2023

Elasticsearch Relevance Engine 是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型(LLM)集成的能力。

2023-11-17

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16

用 Apache SeaTunnel 以最快的方式,实现从 MySQL 到 ElasticSearch 实时同步,在本次分享中,我们将详细介绍这一解决方案的工作原理、如何配置和部署,以及实际的使用案例。

2023-11-17

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

2023-10-23

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

2023-10-23

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

2023-10-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除