Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(3087)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elastic 9.5: Columnar 、 VectorDB 索引模式与自动校准,以及由 AI 驱动的告警分类整理

Elastic 9.5平台正式发布,带来多项创新功能:1. 新增Columnar Mode列式存储模式,可显著减少存储空间并提升查询速度;2. 推出Vector DB索引模式和自动校准功能,实现开箱即用的向量搜索;3. 原生支持Prometheus和PromQL,便于迁移监控工作负载;4. 强化AI Agent构建能力,包括可观测性监控和人机协同审批;5. 安全方面引入Attack Discovery功能,可自动验证告警并生成检测规则;6. 增强端点防护能力,支持Windows on ARM设备。该版本还改

2026-08-05 10:09:22 819 1

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 28268 19

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

2020-02-25 20:01:55 174314 105

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 19530 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 177160 32

原创 用两行 JSON 替换你的 ILM 策略:数据流生命周期新增冻结层支持

【摘要】Elasticsearch 9.5推出了数据流生命周期的frozen_after功能,可自动将30天以上的索引迁移至对象存储的可搜索快照中,保持数据可查询。通过简单JSON配置或Kibana界面即可启用,支持与降采样、保留策略协同工作。新功能依赖企业版许可证,需配置默认快照仓库(Elastic Cloud已预设),转换过程包含克隆、合并、快照等五个容错步骤。该特性不适用于故障存储索引,Serverless环境会自动忽略此配置。用户可通过Kibana界面或API快速部署这一冷数据存储方案。

2026-08-13 07:43:01 81

原创 在 Elasticsearch 中构建上下文:AI Indices 如何使用更少的 tokens 为更智能的 agent 提供支持

本文介绍了Elasticsearch AI Indices如何通过预计算知识指示器(KI)来优化AI代理的工作流程。主要内容包括: 创建AI Index作为存储KI的专用索引,利用命名约定自动配置语义搜索等特性 使用Kibana Workflows构建处理管道,通过LLM将数据源元数据转换为结构化KI 开发可移植的ES|QL查询技能,使代理能直接从AI Index检索路由信息 对比实验显示,使用KI的代理调用工具次数减少50%,token消耗降低45%,同时保持回答准确性 这种方法避免了代理每次查询时重复分

2026-08-13 07:00:00 268

原创 深入浅出 Elastic 工作流(Workflows):核心架构与十一大顶级字段详解

本文深入解析了Elastic工作流的YAML定义结构和执行机制。主要内容包括:1. 工作流11个关键字段详解,涵盖必填字段(name、steps)和可选配置(description、consts等),特别强调version字段必须使用字符串格式;2. 工作流生命周期状态机,说明从queued到completed等终结状态的完整流转过程;3. 通过一个可运行的错误日志分析工作流实例,展示如何组合Elasticsearch查询、AI总结和Slack通知等步骤;4. 提供命名规范、常量管理和错误处理等开发建议。文

2026-08-12 15:13:29 263

原创 Elasticsearch:使用 AI Agent 来创建 workflow

本文介绍了如何利用Elastic Stack 9.5集成的AI Agent功能快速创建workflow。作者以创建"geocoding2" workflow为例,演示了通过自然语言提示让AI自动生成调用Google Maps API获取坐标的流程:包括创建加密的HTTP连接器、配置API密钥、测试地点查询等步骤。最终生成的workflow成功实现了输入地点返回经纬度坐标的功能,大大简化了传统需要手动编写和测试代码的开发过程。这类似于在VSCode中使用AI辅助编程的体验,显著提高了开发效

2026-08-12 07:00:00 443

原创 ES 存日志很贵?我用 ES 9.5 把日志从 4.5G 压到 412M 压缩比11.2倍,日志硬扫每秒128万行!

ES 存日志很贵?我用 ES 9.5 把日志从 4.5G 压到 412M 压缩比11.2倍,日志硬扫每秒128万行!这是一次用真实生产形态日志数据做的实测:1641 万条日志,4631 MB 原始文本大小,ES 落盘后 412.5 MB,压缩比 11.2 倍,只剩原始体积的 8.91%。而同一份数据用 zip 压缩是 411.6 MB。区别是:zip 那份要先解压才能看一眼,而 Elasticsearch 那份可以按时间范围过滤、可以聚合、可以全量扫描——它是在线的、活的数据。"ES 做日志成本高" 这

2026-08-11 13:05:52 854

原创 Elasticsearch 作为统一平台:引入第二套数据系统究竟要付出什么代价

本文探讨了多数据引擎并存的技术栈痛点,指出维护搜索、分析、指标、日志和向量检索五套独立系统带来的隐性成本:数据一致性维护、多查询语言学习、跨系统关联分析困难及保留策略差异等。Elasticsearch 9.5通过列式引擎实现统一平台,具备三大核心优势:1)ES|QL统一查询语言支持跨数据类型查询组合;2)基于Docvalues的统一列式存储基座;3)共享集群的运维体系。文章坦承专用数据库在特定场景仍具优势,但强调大多数生产环境需要处理混合数据类型,而Elasticsearch的指标存储已实现超越专用系统的性

2026-08-11 10:42:28 284

原创 Elasticsearch 的批量查询阶段如何在大规模场景下提升搜索性能

Elasticsearch 9.5.0 引入的批量查询阶段技术显著提升了搜索性能。该技术通过将发往同一数据节点的多个分片查询合并为单个批量请求,减少了网络传输开销,并允许数据节点自行执行部分结果归并工作。基准测试显示,在涉及5000个分片的搜索中,查询速度提升2倍;在20000个分片的场景下提升达2.2倍。同时,该技术有效分散了协调节点的归并负载,使内存使用更均衡。这一优化特别适用于需要处理大量分片或复杂聚合的工作负载,为后续性能优化奠定了基础。

2026-08-11 10:06:58 316

原创 我们如何重构 APM 服务地图以应对事件响应:Observability 9.5 背后的设计故事

Elastic Observability 9.5对APM服务地图进行了全面重构,这是基于14次企业访谈、两轮原型设计的深度改进。研究发现用户通常在故障排查时使用地图,核心需求是快速定位问题根源而非完整拓扑。新设计聚焦三点:告警触发后显示受影响服务预览、直接展示健康状态和业务上下文、支持按团队分组过滤。通过持续验证用户流程(从Figma原型到可运行Demo),团队砍掉了华而不实的功能,最终打造出更实用的工具。该重构由产品、工程和设计组成的核心三人组紧密协作完成,所有决策均经过多次用户测试。新地图已在Elas

2026-08-11 07:00:00 677

原创 从 CrashLoopBackOff 到根本原因,只需几秒:使用 Elastic Observability 自动化 20 分钟的 Kubernetes 调查流程

【摘要】Elastic推出的Kubernetes智能运维方案彻底改变了传统CrashLoopBackOff故障的排查流程。当Pod出现崩溃循环时,系统会同步启动自动化调查工作流:在工程师查看告警前,已完成OOMKilled原因确认、内存异常检测(区分内存泄漏与负载突增)、上下游影响分析等关键步骤,直接提供高置信度的根因分析报告(如内存限制设置过低)及修复建议。该方案通过预置的16种故障模式知识库和实时ML基线比对,避免了人工排查中常见的误诊(如将负载突增误判为内存泄漏),并将传统需要20分钟的手动调查流程压

2026-08-11 07:00:00 557

原创 Elasticsearch:列式索引模式 - Columnar index mode

Elasticsearch 9.5版本推出的列式索引模式(Preview)是一种面向分析型工作负载的新型存储方式。该模式将字段默认存储为docvalues,降低高数据量场景的存储成本,同时保留全文搜索能力。主要特点包括:字段单次存储、自动扁平化映射、支持两种列式_source模式(合成和存储式)。适用于日志、安全遥测、业务分析等场景,但不适合文档搜索为主的工作负载。使用时需在创建索引时指定columnar或logsdb_columnar模式,并配置索引排序。该模式与现有索引模式并存,但存在runtime字段

2026-08-10 16:26:15 613

原创 一个查询,三种数据源:ES|QL 子查询同时支持 FROM、TS 和 ROW

Elasticsearch 9.5为ES|QL查询语言新增三种子查询源命令:FROM(常规索引查询)、TS(时间序列数据流优化)和ROW(内联字面值)。这些命令支持单独或组合使用,实现动态数据过滤和混合分析。其中,FROM用于标准文档检索,TS专精处理时间序列指标(如计数器重置),ROW则适合生成测试数据。新特性特别适用于实时场景,例如基于动态指标阈值过滤应用日志,或混合真实数据与合成值进行分析。当前WHERE IN子查询需返回单列,TS命令仅适用于时间序列数据流。该功能显著提升了ES|QL在复杂数据关联和

2026-08-10 07:00:00 469

原创 从工具采购到平台架构:重新思考应对机器速度威胁的 SOC

《AI时代安全架构转型:从碎片化防御到统一平台》 随着AI技术被攻击者广泛利用,网络安全攻防速度差距不断扩大。数据显示,AI生成的钓鱼攻击点击率比传统方法高4.5倍,而企业SOC却受困于由SIEM、XDR等多工具拼凑的碎片化架构。分析师平均需操作11个控制台,91%的重大事件可追溯至工具间协作障碍。当前叠加AI的修补方案存在根本缺陷——分散的数据导致模型继承人类分析师的盲点。 真正的解决方案需要构建原生支持AI的统一平台,具备六大特征:跨领域数据整合、开放标准支持、无损查询能力、透明AI推理、原生自动化及灵

2026-08-10 06:00:00 765

原创 jina-reranker-v3.5:通过混合 Attention 和自蒸馏实现更快的 Listwise Reranking

Jina AI发布jina-reranker-v3.5,这款0.6B参数的列表式重排序模型在多项基准测试中表现优异。该模型通过混合注意力机制(3层滑动窗口+2层全局注意力)和自蒸馏训练方案,在BEIR基准上达到63.20 nDCG@10,超越4B参数的Qwen3-Reranker,同时参数量仅为后者1/7。其最大改进在半结构化检索场景,相比v3提升9.6 nDCG@10。模型在长文档重排序速度上提升1.56倍,并针对法律、医疗等专业领域优化了训练数据。实验显示,该模型在紧凑型架构中实现了质量与效率的最佳平衡

2026-08-09 07:00:00 735

原创 一个 ES|QL 查询替代两个:`WHERE IN` subquery 取代 Elasticsearch 中的复制粘贴循环

ES|QL在Elasticsearch 9.5中推出WHERE子句动态过滤功能(技术预览版),允许通过子查询结果进行实时过滤,无需手动复制静态ID列表。该功能支持嵌套子查询、NOT IN和复合条件,能自动更新过滤列表,适用于调查可疑用户、故障服务等场景。传统方法需先运行查询获取ID再手动粘贴,而新功能通过一个查询即可完成,如"FROM logs-*|WHERE user.name IN (子查询)"。此外,还支持多索引合并、条件组合等复杂操作,但需注意子查询需返回单列、类型兼容等限制。此

2026-08-09 07:00:00 470

原创 从搜索到结账只需 20 行代码:使用 OpenTelemetry 构建四阶段转化漏斗

本文介绍了如何利用OpenTelemetry和ES|QL构建电商搜索转化分析系统。通过在搜索、点击、加入购物车和购买四个阶段植入span追踪,使用search.query_id建立关联链条,实现从搜索到收入的完整漏斗分析。文章详细说明了购物车和购买事件的属性设计,提供了关键ES|QL查询示例(如收入归因、转化率计算和平均订单价值分析),并讨论了最后触点归因等限制。这套方案约需20行代码,能帮助团队识别高价值查询、定位转化瓶颈,并为搜索相关性优化提供数据支持。最终实现从衡量到改进的闭环优化,使每个搜索决策都能

2026-08-08 07:30:00 245

原创 你的堆内存图表看不到的隐藏压力:AutoOps 现已监控向量堆外内存

Elasticsearch的AutoOps功能新增了向量内存压力检测机制,专门监控dense_vector字段使用的堆外内存。该功能通过综合评估向量内存占用、堆内存压力和系统运行指标,能够在节点实际发生OOM前约1小时发出预警。测试显示,在4GiB节点持续进行kNN写入时,当堆内存使用达75%且伴随线程池压力时即会触发警报。由于dense_vector数据存储在JVM堆外,传统堆内存监控无法反映真实内存压力。AutoOps采用三指标联动机制:跟踪向量堆外内存增长趋势、系统剩余内存空间以及运行负载信号,只有当

2026-08-08 07:00:00 357

原创 一个字段,覆盖所有模态:Elasticsearch 的 semantic 字段如何自动索引和搜索图像、音频、视频和 PDF

Elasticsearch 9.5引入semantic字段技术预览版,实现统一的多模态搜索体验。该功能通过jina-embeddings-v5-omni模型自动将图像、音频、视频、PDF和文本转换为共享向量空间的embedding,支持跨模态检索(如用文本找图片、用视频帧找片段)。与semantic_text一脉相承,它简化了从索引创建到查询的全流程:只需定义字段类型为semantic并指定推理终端,即可自动处理多模态内容。查询时支持文本描述或Base64编码的多模态输入,并兼容高亮、多字段检索等现有功能。

2026-08-07 15:58:00 527

原创 Elasticsearch 转型为 Agent 基础设施:混合搜索、长期记忆与工程化框架

7月26日Elastic深圳Meetup揭示:Elasticsearch正从搜索引擎演变为Agent基础设施。活动围绕三大核心能力展开:1. AI驱动的混合搜索(BM25+向量+RRF融合)解决精准检索问题,腾讯云通过BBQ量化技术实现千亿向量毫秒响应;2. 三层记忆架构(对话/流程/知识记忆)替代传统SQLite,实现跨会话持久化;3. 工程化框架突破Prompt-Context-Harness三关,确保生产环境稳定性。腾讯KInfra团队分享了知识库实战经验,验证了技术路径可行性。Elasticsear

2026-08-07 12:25:44 439

原创 在隔离网络和断开连接的环境中部署 Elastic

摘要 Elastic支持在隔离网络和断开连接环境中完整部署其平台,包括自托管、Elastic Cloud Enterprise(ECE)和Elastic Cloud on Kubernetes(ECK)等模式。该解决方案允许政府、军事、金融等敏感行业在完全离线的环境中运行Security、EDR、搜索和可观测性功能,所有依赖服务均可本地托管。Elastic提供灵活的证书管理方案,支持使用内部CA或自签名证书实现TLS加密通信,并通过Fleet策略简化终端设备的证书信任配置。平台采用严格的证书架构要求,每个组

2026-08-07 10:47:57 263 1

原创 Elasticsearch ES|QL 将全文搜索带到你从未建立索引的数据中

摘要:Elasticsearch 9.5引入ES|QL的MATCH和TO_TEXT功能,支持对未索引数据(如计算列、联邦数据源)执行全文搜索。TO_TEXT函数将任意字符串转换为可分析文本,使MATCH能进行分词和词项匹配,超越了LIKE/RLIKE的简单模式匹配。该技术预览功能目前存在分析器配置等限制,但已实现直接搜索未映射字段、动态转换keyword字段等实用场景,未来将支持相关性评分、短语匹配等增强功能。现已在Elastic Cloud Serverless和Elasticsearch 9.5中提供试

2026-08-07 08:00:00 19

原创 Kibana Dashboards API:适用于所有面板类型的稳定接口,在正式发布前经过 50 多个团队验证

【摘要】Elastic在9.5版本中正式推出生产就绪的Kibana仪表板API,支持通过JSON定义仪表板并实现"仪表板即代码"管理。该API具备完全向后兼容性,支持所有by-value面板类型(除Maps和Vega外),新增独立Tags API,并将在9.6版本加入Markdown/Links面板支持。用户可通过Git版本控制、CI/CD流水线或Terraform实现跨环境部署,其中Terraform能自动处理资源ID映射问题。文章提供了使用PUT创建仪表板的代码示例,并透露未来将扩展

2026-08-07 07:00:00 16

原创 用 start-local 脚本在本地运行 Elastic Stack 并创建 AI agents

我来为大家来展示如何在自己的电脑使用一个命令来启动 Elastic Stack,并进行 AI Agents 的开发。

2026-08-06 08:05:13 841

原创 一次编辑,更新所有仪表板:使用 Terraform 大规模管理 Kibana 可观测性配置

Elastic推出Terraform管理Kibana仪表板功能,支持通过代码方式统一维护黄金信号监控面板。该功能允许平台团队在HCL中定义标准仪表板模板,通过for_each为各团队生成专属仪表板,实现配置的集中管理和批量更新。当需要修改阈值、布局或查询时,只需提交PR即可全局生效,并内置配置漂移检测和Git回滚能力。该方案解决了手动维护数百个仪表板时的同步难题,目前已在Elastic 9.5正式发布,配套提供完整的Terraform资源类型和API支持,支持KPI卡片、时序图等多种可视化类型,并通过ES|

2026-08-06 07:00:00 641

原创 足够接近就是足够快:ES|QL Fast 模式如何让 Kibana 仪表板速度提升最高 100 倍

Elasticsearch 9.5版本推出ES|QL Fast模式,通过数据采样使Kibana仪表板查询速度提升最高100倍,同时保持90%置信区间的准确性。该模式支持点击过滤、Discover下钻及查询驱动的控件交互,并优化了指标图表和柱状图的默认布局。新增功能还包括ES|QL变量控件关联面板识别、响应式柱状图标签截断,以及通过ES|QL查询填充控件值。Fast模式为企业专属功能,未来版本将进一步完善近似结果展示和新增进度条可视化类型。

2026-08-05 11:42:44 375

原创 一分钟内从提示词生成仪表板,成本降低 5 倍:Kibana 中的 AI 仪表板和自定义 Vega-Lite 图表

摘要:Elastic 9.5正式发布Kibana AI仪表板功能,支持通过自然语言生成ES|QL查询和Vega-Lite图表。新版本增强了错误恢复能力,通过分层模型路由降低5倍成本,并新增交互式过滤控件。用户现在可以无需编写JSON代码,直接描述需求生成散点图、箱线图等复杂图表,并实现条件格式、自定义工具提示等高级功能。该功能采用结构化生成流程,确保输出可靠性和安全性,适用于企业级数据分析场景。(149字)

2026-08-05 11:11:16 500

原创 15 行点击跟踪代码,告诉你搜索日志无法揭示的信息

本文介绍了如何通过15行OpenTelemetry埋点代码跟踪搜索点击数据,并使用ES|QL查询计算点击率(CTR)、平均倒数排名(MRR)和点击位置分布,以评估搜索相关性质量。关键点包括: 点击跟踪补充了搜索日志的不足,能真正衡量搜索结果的实用性 三个核心指标: CTR(点击率):反映用户参与度 MRR(平均倒数排名):衡量结果排序质量 点击位置分布:展示用户交互模式 通过search.query_id关联点击与搜索事件 指标分析可识别需要优化的查询,为相关性调优提供数据支持 这些指标不仅能评估搜索质量,

2026-08-05 07:00:00 901

原创 将 Embedding 模型加载到 Elasticsearch 中

本文介绍了如何在Elasticsearch中实现NLP文本搜索。主要内容包括:部署all-MiniLM-L6-v2文本嵌入模型;创建ingest pipeline为标题字段生成向量;建立带有映射的索引;索引示例博客数据;最后执行语义搜索查询,通过模型将搜索文本转换为向量并在文档集合中进行相似性搜索。文中提供了完整的Python代码示例,展示了从模型部署到语义搜索的完整流程,最终输出按相关性排序的搜索结果。

2026-08-04 22:21:31 249

原创 使用 Elasticsearch open inference API 对 OpenAI chat completions 进行支持

Elastic宣布在inference API中集成OpenAI Chat Completions功能,支持用户对文本进行摘要、翻译和问答等操作。文章介绍了配置OpenAI模型(如gpt-3.5-turbo)的步骤,并展示了如何通过ingest pipeline实现文档自动摘要。Elastic持续创新,近期还增加了对Cohere Embeddings的支持,并将向量数据库引入Azure OpenAI服务。该功能目前已在Elastic Cloud无状态产品中可用,即将向所有用户开放。

2026-08-04 10:31:31 254

原创 使用 NVIDIA NeMo Retriever、Unstructured 和 Elasticsearch 处理非结构化数据

本文介绍了如何利用NVIDIA NeMo Retriever、Unstructured Platform和Elasticsearch构建非结构化文档数据处理流水线,为RAG(检索增强生成)应用提供支持。该流水线通过NeMo Retriever提取模型进行文档解析和OCR处理,使用Unstructured Platform实现数据采集、转换和丰富,最终将结构化数据存储到Elasticsearch以支持语义搜索。文章详细说明了配置S3源连接器、Elasticsearch目标连接器、创建工作流节点(包括分区处理、

2026-08-04 07:00:00 212

原创 使用 Gemma、Hugging Face 和 Elasticsearch 构建 RAG 系统

本文介绍了如何利用Elasticsearch和Python构建一个基于Gemma开源大模型的RAG(检索增强生成)系统。主要内容包括:1)通过ELSERv2模型处理私有工作场所文档数据,使用分块策略优化上下文窗口;2)在HuggingFace平台加载Gemma-2B模型本地运行;3)结合LangChain框架实现文档检索与生成的完整流程。该系统能对私有数据集执行语义搜索,将相关文档作为上下文输入Gemma模型生成准确回答。文章详细展示了从数据准备、模型部署到问答链构建的全过程,为开发私有知识问答系统提供了实

2026-08-04 07:00:00 302

原创 Elasticsearch:语义搜索快速入门

本教程介绍了如何使用Elasticsearch Python客户端实现语义搜索功能。主要内容包括: 设置Elastic Cloud部署并安装必要的Python包(elasticsearch和sentence-transformers) 初始化Elasticsearch客户端连接 创建包含384维向量字段的book_index索引 使用SentenceTransformers模型将图书标题转换为向量并索引数据 执行语义搜索查询,通过向量相似度查找相关图书 演示如何结合关键词过滤(如按出版社筛选)构建混合搜索系

2026-08-03 11:12:49 530

原创 使用 OpenAI 服务通过 Inference API 实现语义搜索

了解如何使用 OpenAI 服务通过实现语义搜索。在本示例中,你需要准备:一个 Elastic 部署:本示例将使用(提供Elasticsearch 8.12 或更高版本。你也可以参考文章 “” 创建一个本地部署的 Elasticsearch 集群使用的 Inference API 需要一个付费的 OpenAI 账户,因为 OpenAI 免费试用提供的 API 使用额度有限。:你可以使用任何一个服务提供商所提供的 inference API。

2026-08-03 10:17:37 978

原创 跳过编写告警规则:NGINX OTel 集成中内置 6 个现成的 ES|QL 模板

Elastic集成提供预置告警规则模板,大幅简化监控配置流程。以NGINX OpenTelemetry集成示例,用户通过三步即可建立监控:1)配置OpenTelemetry收集器发送NGINX数据;2)自动安装集成资产包;3)从6个预置模板(如5xx错误率、连接数异常等)快速创建告警规则。每个模板包含调优阈值的ES|QL查询,用户只需根据实际流量调整WHERE子句中的阈值参数。特别提醒需注意数据流匹配问题,并建议手动配置"空闲数据流"规则(15分钟周期)以检测数据中断。该方案将告警配置时

2026-08-03 07:00:00 371

原创 公共部门中的生成式 AI 和语义搜索

公共部门数据面临孤岛化、质量不一和系统陈旧等挑战,阻碍AI技术的有效应用。Elastic提出以数据网格(datamesh)和语义搜索为核心的新方法,通过理解查询意图而非关键词,在严格合规下实现跨部门数据整合。语义搜索结合生成式AI(GenAI)和检索增强生成(RAG)技术,为教育、医疗、交通和劳动力发展等领域提供精准洞察:如学生个性化学习、医生临床决策支持、实时交通调度及职位智能匹配。该方案支持离线和安全环境部署,帮助公共机构在保护敏感数据的同时,提升服务效率与公民体验,推动数据驱动决策。

2026-08-02 09:56:12 317 1

原创 缩小 AI 差距:下一代知识访问如何为政府解锁任务成果

一份基于对 685 名公共部门受访者调查的最新 IDC Spotlight 报告发现,72% 的受访者认为,将 AI 从试点扩展到生产环境 “非常困难” 或 “有些困难”。¹ 选择合适的模型只是挑战的一部分。政府机构还需要为 AI 做好数据准备。成功应用 AI 的政府机构正在构建一个受治理的检索层,通常称为下一代联邦知识访问,它能够将权威知识连接到 AI agents,同时保持数据主权、可审计性以及公众信任。全球公共部门组织正处于这一充满挑战的交汇点:预算不断缩减、监管义务持续增加、公民期望不断提高

2026-08-02 09:15:14 258

05-Elastic AI时代全新可观测解决方案 - 朱杰 上海 20260321

内容概要:本文介绍了Elastic在AI时代推出的全新可观测性解决方案,旨在通过融合大语言模型(LLM)、机器学习(ML)与OpenTelemetry标准,实现从传统运维监控向智能AIOps的演进。方案覆盖日志、指标、APM、Trace、RUM等全栈数据,构建统一的数据采集、存储、分析与自动化处理架构。通过LogsDB、MetricDB、TSDB等技术优化数据存储与查询效率,结合AI助手实现自然语言交互、根因分析、告警解释与处置建议,显著降低MTTD/MTTR,提升运维效率。同时支持RAG与AI Agent,推动知识库自动生成与智能化决策。; 适合人群:从事IT运维、SRE、DevOps及可观测性平台建设的技术人员,具备一定监控系统使用经验的架构师与工程师; 使用场景及目标:① 实现多源运维数据的统一采集与智能分析;② 利用AI助手加速故障定位与根因分析;③ 构建基于LLM的企业级AIOps平台,提升自动化与预测性维护能力; 阅读建议:重点关注Elastic Observability架构演进、AI集成路径及实际应用场景案例,结合自身运维体系规划向智能可观测性升级。

2026-03-23

04-阿里云 Elasticsearch 技术引擎进阶 -振策 上海 20260321

内容概要:本文详细介绍了阿里云Elasticsearch在引擎架构、AI搜索能力和云原生内核方面的技术进阶。重点涵盖Elasticsearch向量引擎的持续优化,包括支持千亿级文本与向量混合检索、基于Lucene10的底层升级、BBQ量化技术实现高达20倍的资源节约,以及通过FalconSeek自研引擎实现复杂查询性能提升达6倍以上。同时,介绍了存算分离架构OpenStore带来的成本降低与稳定性提升,以及AI能力增强如混合检索(RRF算法)、Retrievers框架、Inference API集成大模型服务等,全面支持RAG、多模态搜索和智能语义理解。此外,还展示了云原生内核的C++高性能实现、完全兼容开源生态、无缝升级路径及其在真实场景下的显著性能优势。; 适合人群:具备一定云计算、搜索技术或大数据分析背景的技术人员,尤其是从事搜索系统、日志分析、AI语义检索等相关工作的研发工程师、架构师及技术决策者;适合工作年限在2年以上的中高级技术人员。; 使用场景及目标:① 构建高性价比的大规模向量与全文混合检索系统;② 提升Elasticsearch集群在高并发、复杂查询下的性能与稳定性;③ 实现RAG、AI增强搜索、多模态语义理解等前沿AI应用落地;④ 降低存储与计算成本,实现弹性扩缩容与自动化运维; 阅读建议:本文为技术深度分享,建议结合实际业务场景关注架构演进路径与性能优化细节,重点关注BBQ量化、FalconSeek内核、混合检索实现机制及Inference API集成方式,便于在企业级搜索系统中进行技术选型与方案设计。

2026-03-23

02-腾讯云 ES 百亿级 AI Search 优化实践 - 吴容 上海 20260321

内容概要:本文介绍了腾讯云Elasticsearch Service(ES)在百亿级AI Search场景下的优化实践,涵盖产品架构、核心技术及典型应用。腾讯云ES提供一站式全托管ELKB服务,支持日志分析、信息检索与AI Search三大场景,通过自研内核实现存算分离、堆外内存优化、索引压缩等技术,显著降低存储成本50%-80%,提升查询性能2-10倍、写入性能2倍以上,并保障99.99%的高可用性。重点聚焦AI Search能力,支持混合检索(Hybrid Search)与检索增强生成(RAG),集成全文检索与向量语义搜索,利用RRF算法融合排序,提升召回率与准确率。同时提供从文档解析、chunking、embedding、rerank到LLM生成的全链路原子化服务能力,支撑智能问答、知识库检索、个性化推荐等应用场景。; 适合人群:云计算、搜索推荐、大数据及AI平台相关的研发与架构师人员,具备一定Elasticsearch和AI应用基础的技术从业者;企业级搜索系统建设者及数字化转型团队。; 使用场景及目标:①构建高性能、低成本的企业级AI搜索系统;②实现混合检索与RAG应用落地,提升搜索准确率与语义理解能力;③应对百亿级数据规模下的高并发、低延迟搜索需求;④降低运维复杂度,实现从数据接入到智能生成的一站式闭环。; 阅读建议:此资料结合了架构设计、性能优化与实际案例,建议结合自身业务场景重点研究混合检索实现方式、RRF融合策略及全链路RAG流程,并参考标杆案例进行技术选型与方案设计。

2026-03-23

01- Elasticsearch 向量搜索及 AI Agents 开发 - 刘晓国 上海 20260321

内容概要:本文系统介绍了Elasticsearch在向量搜索与AI智能体(Agents)开发中的核心技术与应用实践。重点涵盖向量搜索的演进背景、稀疏向量(Sparse Vector)与稠密向量(Dense Vector)的原理与实现方式、混合搜索(Hybrid Search)的架构设计及其在语义搜索、RAG系统和智能推荐中的应用。文章还详细阐述了Elasticsearch如何通过BM25、向量索引、RRF融合算法等技术实现关键词与语义的联合检索,并介绍了最新的向量引擎优化进展,如硬件加速、向量量化、DiskBBQ存储格式等。最后,深入探讨了基于Elasticsearch构建AI Agent的工作流程,包括检索增强生成(RAG)、上下文工程、MCP集成以及Agent Builder工具的使用,展示了Elastic作为企业级AI底座的能力。; 适合人群:具备一定搜索技术或大数据基础,从事搜索推荐、AI应用开发、数据工程等相关领域的研发人员、架构师及技术管理者,尤其是关注RAG、向量数据库与智能体落地的从业者。; 使用场景及目标:①构建支持语义理解与多模态内容检索的智能搜索系统;②实现基于Elasticsearch的RAG架构以提升大模型问答准确性;③开发具备自主决策能力的数据驱动型AI智能体;④优化向量搜索性能与成本,支持高并发、低延迟的生产环境部署。; 阅读建议:此资料兼具理论深度与工程实践指导价值,建议结合Elasticsearch实际环境动手实验,重点关注混合搜索配置、模型导入、Agent Builder搭建等关键环节,并参考提供的API示例与架构图进行系统性学习与调优。

2026-03-23

03-ElasticRelay - 多源实时 CDC 到 Elasticsearch 同步引擎 - 林继繁 上海 20260321

内容概要:本文介绍了ElasticRelay——一款轻量级、高性能的多源实时CDC(变更数据捕获)同步引擎,旨在将MySQL、PostgreSQL和MongoDB的数据直接同步到Elasticsearch,无需依赖Kafka、Flink等中间组件。系统基于Go语言开发,仅需单一二进制文件,内存占用约50MB,支持毫秒级延迟、断点续传、数据零丢失、热配置更新及内置数据脱敏等功能。通过解析数据库的事务日志(如Binlog、WAL、Change Streams),实现高效、可靠的实时数据同步,并提供自动索引创建、智能类型映射、并行大表初始化、DLQ错误处理等企业级能力。; 适合人群:具备一定数据库与数据同步基础知识,从事数据工程、运维、搜索平台建设的技术人员,尤其是希望简化架构、降低资源消耗的中小型团队开发者;; 使用场景及目标:① 替代复杂的Debezium+Kafka+Flink多组件架构,实现快速部署与低延迟同步;② 支持GDPR/隐私合规的数据脱敏处理;③ 实现亿级大表的高效全量+增量同步;④ 构建稳定、可观测的ELT数据管道; 阅读建议:建议结合GitHub开源项目实践部署,重点关注其配置文件结构、检查点机制与Transform引擎设计,同时可关注后续GUI界面与Kubernetes Operator的演进。

2026-03-23

告别中间件繁琐:ES 9.2 Streams 打造 一站式 实时分析平台 - 程地华 线上 20260121

内容概要:本文介绍了Elasticsearch 9.2推出的内置流处理引擎——Streams,该技术实现了数据“入库即计算”的实时分析能力,大幅提升数据处理效率。Streams作为全自动数据加工流水线,能够在数据写入时自动完成清洗、解析与结构化,支持AI驱动的日志智能解析、统一日志流管理、数据质量监控以及精细化的数据保留策略。通过Search AI赋能,Streams可自动识别日志来源并建议字段映射,打破传统Grok规则编写的繁琐流程,实现异构日志的免配置接入。同时,其分级存储机制满足合规审计需求,显著降低存储成本。; 适合人群:具备一定大数据或运维经验的SRE、DevOps工程师、日志平台开发者及系统架构师;关注实时数据分析、日志统一治理的企业技术团队。; 使用场景及目标:①解决微服务架构下多源异构日志(如Nginx、Spark、Hadoop等)的统一接入与自动化解析问题;②在海量日志场景中实现合规驱动的数据分级存储与高效查询;③减轻SRE在多云环境中维护复杂日志管道的负担,提升运维自动化水平; 阅读建议:建议结合文中Demo演示动手实践,重点关注Streams在数据摄入阶段的自动分区、AI解析生成、数据质量检测等功能,深入理解其如何替代传统中间件构建一站式实时分析平台。

2026-01-21

04-搜索范式 - 从排序到过滤的转变 - 王峰 北京 20260110

内容概要:本文探讨了搜索范式从传统排序(ranking)向动态选择(selection)的演进,重点介绍了Jina团队在Elastic框架下开发世界级搜索基础模型的工作。文章详细阐述了重排序模型(reranker)的技术演进,特别是jina-reranker-v3如何通过listwise输入和全局交叉注意力机制实现查询与文档的相关性评估以及文档间的多样性比较,达到当前最优性能。同时提出“足够上下文”的理念,主张通过子模态优化和强化学习方法实现相关性与多样性的平衡,并支持动态确定Top-K数量以适应不同复杂度的查询需求。此外,还展望了多模态重排序的发展方向,在保证强大性能的同时降低模型开销以提升实用性。; 适合人群:从事搜索算法、信息检索、RAG系统优化或大模型应用研发的工程师与研究人员,具备一定机器学习背景的技术人员; 使用场景及目标:①理解现代重排序模型如何超越对比学习,实现更优的上下文构建;②掌握基于序列决策的多样化文档选择机制;③应用于实际RAG系统中提升上下文质量与LLM响应准确性; 阅读建议:此资源聚焦于搜索核心技术的前沿发展,建议结合具体搜索场景进行实验验证,并关注模型效率与效果之间的权衡。

2026-01-11

03-腾讯云ES在搜索场景与AI能力的建设分享-师文博 北京 20260110

内容概要:本文介绍了腾讯云Elasticsearch Service(ES)在搜索场景与AI能力建设方面的技术架构与实践经验。重点阐述了自研云原生日志增强版的存算分离架构,通过Delta(SSD)+Base(COS)混合存储、Segment物理复制与智能缓存机制,实现高可靠、低成本的日志存储与高效检索。针对搜索场景,分享了稳定性保障(跨区容灾、多维告警、智能巡检)、安全性加固(加密、访问控制、网络隔离)以及性能优化策略(Forcemerge管理、索引排序、缓存优化、routing设计等)。同时,详细展示了腾讯云ES在AI能力方面的建设,包括GPU硬件支持、多维监控、向量检索及模型管理等功能,打造一站式AI向量检索平台。; 适合人群:具备一定云计算与搜索技术基础,从事大数据、搜索推荐、日志分析或AI应用开发的工程师及技术决策者,尤其适合工作1-3年以上的研发人员; 使用场景及目标:①了解云原生ES在日志与搜索场景下的架构设计与优化方法;②掌握高可用、高性能搜索系统的建设路径;③探索ES集成AI能力(如向量检索、模型部署)的技术方案; 阅读建议:此资源结合架构解析与实战经验,建议结合自身业务场景对比分析,在实际项目中借鉴其稳定性、性能与AI集成设计思路,并通过压测验证优化效果。

2026-01-11

01-Elasticsearch 向量搜索及 AI Agents - 刘晓国 20260110

内容概要:本文系统介绍了Elasticsearch在向量搜索和AI Agents领域的技术实现与应用,重点涵盖向量搜索的基本原理、语义理解、混合搜索(Hybrid Search)、检索增强生成(RAG)以及Agentic RAG的架构演进。文章详细展示了如何在Elasticsearch中通过稠密向量(Dense Vector)与稀疏向量(Sparse Vector)结合实现高效的语义搜索,并介绍了RRF(倒数排序融合)、Learning to Rank、模型重排序等关键技术。同时,讲解了ELSER、语义文本字段、自动分块、Inference API等特性在RAG中的应用,并展望了基于Elasticsearch构建AI Agent工作流的发展方向。; 适合人群:具备一定搜索技术或大数据开发基础,熟悉Elasticsearch或对AI与搜索融合感兴趣的工程师、架构师及技术决策者;适合从事推荐系统、语义搜索、RAG系统开发的相关技术人员; 使用场景及目标:①构建支持语义理解的智能搜索系统;②实现企业级RAG架构,提升大模型问答准确性;③利用Elasticsearch平台整合向量搜索与传统搜索,打造混合检索方案;④开发基于Agent的自动化信息检索与决策系统; 阅读建议:此资源不仅提供理论讲解,还包含大量实战代码示例与架构图解,建议结合Elasticsearch最新版本动手实践,重点关注模型导入、索引构建、kNN查询、RRF融合与retrievers的使用,深入理解从传统搜索到AI增强搜索的技术演进路径。

2026-01-11

02-MCP 超级大脑:一键干掉传统 RAG 同时接管全链路 AIOps - Luke 北京 20260110

内容概要:本文介绍了MCP(Model Context Protocol,模型上下文协议)作为新一代RAG及全链路AIOps的核心技术,旨在解决传统RAG面临的静态知识库、单层检索和人工编排三大痛点。MCP通过构建AI的“神经系统”,实现AI与实时API、Elasticsearch/Kibana等可观测性平台的直接交互,支持动态调整检索策略和自主决策,使AI从“查资料”升级为“操作系统”。MCP协议定义了Client与Server之间的标准化通信方式,涵盖Resources、Tools和Prompts三类核心功能,推动AI应用向更高效、智能的自动化运维演进。; 适合人群:具备一定AI和系统架构基础知识的技术人员,尤其是从事AIOps、搜索系统、大模型应用开发的相关从业者;适合1-3年经验的研发或解决方案架构师; 使用场景及目标:①替代传统RAG实现动态、实时的知识检索与系统操作;②在AIOps中实现AI对ELK栈的直接控制与数据分析;③构建可扩展的AI工具集成平台,提升企业级AI自动化能力; 阅读建议:此资源侧重于MCP在真实场景中的落地实践,建议结合Elasticsearch、Kibana及Newchat等工具进行实操演练,深入理解MCP如何打通AI与底层系统的全链路交互。

2026-01-11

01-Elasticsearch Mythbusters- 破除迷思,回归工程本质 - 李捷 线上 20260107

内容概要:本文《Elasticsearch Mythbusters: 破除迷思,回归工程本质》系统性地澄清了关于Elasticsearch的四大常见误解——高存储成本、写入查询性能差、存算耦合落后于云时代、向量搜索能力弱。文章指出,这些认知大多基于Elasticsearch早期版本(如5.x/7.x)的局限,而忽略了其在8.x/9.x版本中的重大架构演进,包括LogsDB/MetricDB优化、ES|QL向量化执行引擎、可搜索快照、DiskBBQ向量索引、Serverless模式等技术创新,显著提升了性能、降低了成本。作者强调技术决策应避免“FUD”(恐惧、不确定、怀疑)营销影响,需结合具体场景权衡“空间换时间”与“时间换空间”的工程本质。; 适合人群:从事日志系统、可观测性、搜索推荐或大数据平台建设的架构师、开发与运维工程师,尤其适用于正在评估或使用Elasticsearch及相关技术栈的技术决策者。; 使用场景及目标:①帮助团队理性评估Elasticsearch在现代云原生环境下的适用性,避免因过时信息而误判技术选型;②深入理解Elasticsearch在存储优化、查询性能、向量搜索等方面的最新技术进展,指导架构升级与性能调优;③掌握“空间换时间”等核心工程权衡思想,应用于其他系统设计决策。; 阅读建议:此资源以破除迷思为主线,融合技术演进、性能 benchmark 与工程哲学,建议结合自身业务场景对照阅读,重点关注LogsDB、ES|QL、BBQ等新特性原理与收益,并参考文中的成本对比数据与架构图进行实践验证。

2026-01-08

01-Elasticsearch-KNN详解 - 刘琪 线上 20251218

内容概要:本文详细介绍了Elasticsearch中KNN(K-最近邻)向量搜索的原理、发展历程及其在实际场景中的应用。重点讲解了KNN的基本概念、HNSW(分层可导航小世界)算法的工作机制,以及近似KNN与精确KNN的区别。文章还涵盖了Elasticsearch中KNN的实现方式,包括dense_vector字段类型配置、索引创建、数据写入与查询语法,并通过以图搜图的Demo展示了从模型选型(如ResNet50)、数据预处理到向量检索的完整流程。同时对比了两种KNN搜索方法在准确性、性能和适用场景上的差异,强调了近似KNN在大规模高维数据下的高效性与灵活性。; 适合人群:具备一定Elasticsearch和机器学习基础知识,从事搜索、推荐系统或向量数据库相关工作的研发人员,尤其是工作1-3年的中初级工程师; 使用场景及目标:① 实现基于语义的图像、文本相似性搜索;② 构建推荐系统或FAQ问答系统中的向量检索模块;③ 理解HNSW等近似算法在Elasticsearch中的工程实现与性能调优; 阅读建议:此资源结合理论与实战,建议读者在理解KNN与HNSW原理的基础上,动手搭建实验环境,复现文中索引配置、pipeline构建及查询示例,重点关注num_candidates、k、similarity等参数对召回率与性能的影响。

2025-12-19

03-阿里云AI搜索年度总结和展望 - 张粲宇 西安 20251206

内容概要:本文系统回顾了阿里云AI搜索在2025年度的技术发展与行业趋势,重点阐述了AI搜索从传统信息检索向任务型智能代理(Agentic Search)的演进路径。文章介绍了RAG技术的阶段性发展(Native RAG至Agentic RAG),并深入剖析了AI搜索三大核心要素——数据基建、AI能力与引擎技术的融合创新。通过阿里云Elasticsearch的产品升级与FalconSeek云原生引擎的性能优化,展示了在向量检索、多模态搜索、混合检索等方面的领先能力。结合客户在云文档、日志分析、游戏、电商及智驾等场景的实践案例,验证了AI搜索在降本增效、统一架构与智能化升级方面的显著价值。同时,展望了以大模型和Agent技术驱动的未来搜索形态,提出AI搜索将从被动响应转向主动任务执行,实现复杂问题的多步推理与工具协同。; 适合人群:从事搜索、推荐、大数据与AI平台研发的技术人员,尤其是云计算、企业级服务、智能搜索应用领域的架构师与技术管理者。; 使用场景及目标:①了解AI搜索技术演进脉络及RAG、Agentic Search等前沿方向;②掌握云原生环境下高性能检索引擎的架构设计与优化方法;③借鉴AI搜索在多模态、语义理解、向量检索等场景的落地实践,推动企业智能化升级。; 阅读建议:此资源以技术演进与实际案例相结合,不仅呈现产品能力,更强调底层架构创新与业务场景适配,建议结合自身业务需求重点关注向量检索优化、存算分离架构及AI开放平台集成方案,并参考客户实践进行技术选型与架构设计。

2025-12-06

02-ElasticSearch在专利与教育场景中的语义检索实践 - 王传健 西安1206

内容概要:本文介绍了ElasticSearch在专利与教育两个垂直领域的语义检索实践,重点探讨了如何应对行业特有的数据异质性、语义复杂性和查询多样性挑战。作者分享了从传统BM25检索到混合检索(Hybrid)、多路召回+精排、LLM融合BM25,再到Multi-Agent RAG的技术演进路径,提出了基于意图识别的查询路由机制和精细化的精排服务部署方案,并总结了在数据预处理、索引设计、词典构建与Embedding模型优化方面的实战经验与避坑建议。; 适合人群:具备一定搜索系统或NLP基础,从事搜索推荐、知识库构建、语义检索相关工作的工程师和技术人员,尤其是关注垂直领域AI应用的从业者;; 使用场景及目标:①提升专利检索中的同义词召回率与查全查准平衡;②解决教育场景中题目变体、OCR噪声、多模态输入等复杂问题;③构建高精度垂直领域知识检索系统;④探索LLM与传统检索技术融合落地路径; 阅读建议:本文侧重于工程实践与架构设计,建议结合自身业务场景对比不同技术路线的适用性,重点关注多路召回策略、查询路由设计及模型微调优化方法,并在实际系统中逐步迭代验证。

2025-12-06

01-AI 驱动 - 搜索的未来 - 刘晓国 西安 20251206

内容概要:本文深入探讨了AI驱动下的搜索技术演进,重点介绍了向量搜索的原理及其在Elasticsearch中的实现方式。文章从传统关键词搜索过渡到语义搜索、向量搜索及混合搜索(Hybrid Search),详细讲解了稠密向量与稀疏向量的区别、向量相似度计算方法(如余弦相似度、L2距离等),以及如何利用Elasticsearch进行图像和文本的语义匹配。同时,介绍了检索增强生成(RAG)和Agentic RAG的概念与架构,阐述了如何通过向量数据库结合大语言模型提升回答准确性和上下文相关性,并展示了Elasticsearch在模型管理、自动分块、语义字段处理、重排序(rerank)等方面的能力。此外,还涵盖了硬件加速、量化压缩、并发优化等向量引擎最新进展。; 适合人群:具备一定搜索或大数据

2025-12-06

Elasticsearch 8 四大工程 - 朱杰 20251202

内容概要:本文介绍了Elasticsearch 8的四大核心工程升级,包括全新构建的原生向量引擎、计算引擎ES|QL、云原生Serverless架构,以及面向时序数据(TSDB)和日志数据(LogsDB)的专用数据库优化。重点阐述了Elasticsearch如何通过硬件加速(CPU/GPU)、向量量化、并发优化等技术提升向量检索性能,并介绍ES|QL作为统一搜索与分析语言在语法、函数、性能方面的优势。同时展示了Serverless架构下的存算分离设计、基于对象存储的分片机制与计费模式,以及TSDB和LogsDB在数据压缩、索引优化和存储效率上的显著提升。; 适合人群:具备一定Elasticsearch使用经验的开发者、架构师及运维人员,尤其是关注向量检索、日志与时序数据分析、云原生部署的技术决策者;工作年限在2年以上的技术人员更为适宜; 使用场景及目标:① 构建支持生成式AI的混合搜索系统(文本+向量+稀疏向量);② 实现高性能向量数据库用于语义检索与RAG场景;③ 在大规模日志和指标场景下实现高效存储与查询;④ 探索Serverless化部署以降低运维复杂度并优化成本; 阅读建议:建议结合Elastic官方文档与实际案例进行对照学习,重点关注各新特性在性能测试中的表现及其适用边界,实践中应充分评估硬件支持条件(如GPU)与订阅版本限制(如企业功能)。

2025-12-02

Elasticsearch 新一代查询语言- ES-QL 介绍与实战 -夏乔 - 20251120

内容概要:本文介绍了Elasticsearch推出的新一代查询语言ES|QL,旨在解决现有查询语言(如Query DSL、SQL等)在可读性、性能和功能覆盖上的局限。ES|QL采用管道式声明语法(FROM | WHERE | EVAL | STATS),以表格模型处理数据,支持从搜索到分析再到可视化的全流程统一操作。其拥有独立于Search的查询引擎,通过谓词下推、列裁剪和算子优化提升执行效率,并深度集成于Observability、Security等场景。文章详细讲解了ES|QL的架构原理、执行流程、语法结构及常用命令,并展示了实际应用示例,同时指出其当前的限制与最佳使用建议。; 适合人群:具备Elasticsearch基础的数据分析师、运维人员、安全专家及开发人员,尤其是关注日志分析、指标统计与威胁检测的技术从业者; 使用场景及目标:① 替代复杂嵌套的DSL实现高效的数据过滤、转换与聚合分析;② 在单一语句中完成数据检索、丰富化(enrich/join)、统计计算与结果可视化,提升查询可读性和开发效率;③ 适用于可观测性、安全调查和运营报表等需要快速迭代查询的场景; 阅读建议:学习时应结合Kibana实践ES|QL语法,注意控制查询时间范围、尽早过滤数据并限制返回结果规模,避免全量扫描。同时需明确ES|QL目前不适用于大规模导出或高级搜索功能(如相关性排序、向量检索),应根据场景合理选择Query DSL或ES|QL。

2025-11-20

腾讯云 ES 百亿级 AI Search 优化实践 - 陈曦 - 20251112

内容概要:本文介绍了腾讯云 Elasticsearch(ES)在百亿级数据规模下的 AI Search 优化实践,重点围绕其自研的高性能混合检索引擎、全链路原子服务及多个标杆案例展开。通过存算分离、堆外内存优化、索引压缩、查询裁剪、CBO 查询计划优化、Multi-path 并行检索、量化裁剪和 GPU 加速推理等核心技术,实现了存储成本降低 50%-80%、查询性能提升 2-10 倍、写入性能提升 1-10 倍、稳定性提升 5 倍以上的显著效果。同时,腾讯云 ES 构建了一站式企业级 AI Search 解决方案,支持文本、向量、多模态混合检索与 RAG 应用,深度融合 NER、Embedding、Rerank 等原子能力,并已在微信读书、IMA 智能工作台、天眼查、敦煌数字藏经洞等多个高要求场景成功落地。; 适合人群:从事搜索、推荐、大数据与 AI 相关工作的中高级研发人员、架构师及技术决策者,尤其适用于需要构建企业级智能检索系统的团队; 使用场景及目标:① 构建高性能、低成本的 AI 搜索系统;② 实现文本与向量混合检索、RAG 问答、智能客服、知识库检索等应用场景;③ 优化现有 ES 集群在大规模、高并发下的性能与稳定性; 阅读建议:本文技术深度较高,建议结合实际业务场景重点关注混合检索优化、GPU 推理加速、全链路原子服务设计等内容,并参考标杆案例进行架构对标与性能调优。

2025-11-12

Elastic Support 概述 - 潘宁,赵守连,李洋 20251028

内容概要:本文介绍了Elastic支持服务的整体架构与核心功能,涵盖全球覆盖、产品专长和优质客户体验三大支柱。重点展示了Elastic AI支持助手的演进路径及其在智能搜索、语义理解和生成式AI方面的应用,同时详细说明了支持门户的功能、案例提交流程及严重性分级机制。通过真实用例演示,深入剖析了ELK多产品环境下数据接入失败与时断时续问题的排查过程,涉及配置兼容性、性能瓶颈、分片策略、ILM设计缺陷等多个技术层面,并给出了系统性的优化方案。; 适合人群:使用Elastic Stack(如Elasticsearch、Kibana、Logstash等)的技术人员、运维工程师、架构师以及企业IT决策者,尤其是面临复杂环境故障排查与性能调优挑战的中高级技术人员;同时也适用于关注AI驱动技术支持发展的技术管理者。; 使用场景及目标:① 学习如何高效利用Elastic支持门户和服务体系解决实际问题;② 掌握常见数据接入异常与性能瓶颈的分析思路与调优方法;③ 了解AI支持助手的工作原理及其在技术支持中的应用场景;④ 提升对DSE(指定支持工程师)服务价值的理解,优化企业级支持资源配置。; 阅读建议:建议结合Elastic官方文档与支持门户实践操作,重点关注故障排查逻辑与性能优化策略,在真实环境中验证文中提出的配置调整与架构改进措施,以增强问题诊断能力与系统稳定性。

2025-10-28

Elasticsearch APM 和 EDOT 的实践与探索

内容概要:本文介绍了Elastic APM与OpenTelemetry(OTel)的基本概念、核心组件及其在可观测性领域的应用,重点阐述了Elastic如何通过原生支持OTLP协议实现与OpenTelemetry的无缝集成,并推出专为其优化的Elastic OpenTelemetry发行版(EDOT)。文章详细说明了APM的核心事件类型(Transaction、Span、Error、Metrics),OpenTelemetry的工作原理与优势,以及EDOT的架构、支持的SDK版本和部署实践。同时展示了如何通过Docker Compose搭建演示环境,实现日志、指标和追踪数据的采集与可视化。; 适合人群:具备一定可观测性基础知识,从事DevOps、SRE、后端开发或系统监控相关工作的技术人员,尤其是正在评估或实施OpenTelemetry与Elastic集成方案的团队。; 使用场景及目标:①理解APM在分布式系统性能监控中的作用;②掌握OpenTelemetry作为标准化遥测数据采集框架的优势;③实现从传统APM向OpenTelemetry的平滑迁移;④利用EDOT构建统一、可扩展的可观测性平台; 阅读建议:建议结合官方文档和演示仓库实际操作部署流程,重点关注EDOTCollector配置、环境变量替换与Elasticsearch集成细节,深入理解数据流路径与语义规范一致性设计。

2025-09-25

04-AI 知识库底层架构构建 - 腾讯 KInfra 基于 ES 的特性应用 -王志铭 线上 20260726

Elasticsearch 在 AI 知识库场景下的使用远不止"建索引、查向量"这么简单。选错特性、用错姿势,轻则效果打折,重则性能与成本双双失控。KInfra 在 AI 知识库落地过程中,不仅通过ES实现了多样化的检索策略,还解决了召回超时与存储成本失控,性能大幅提升。 本次分享以腾讯KInfra 的真实生产实践为线索,聚焦于如何在知识库 RAG 检索链路中系统性地理解并用好 ES 的核心特性——从特性的选型逻辑、组合方式,到参数决策背后的取舍依据。

2026-07-28

02-筑基千亿,毫秒破局:腾讯云 ES 重塑 AI Search 新范式 陈曦 线上 20260726

大模型时代 AI Search 跨入千亿级主战场,多租户资源博弈与极端性能要求已迎来正面交锋。腾讯 ES 带来破局解法:聚焦自研冷热用户分离,标量/向量融合索引,执行计划优化等核心演进。在超大规模混合检索场景下,实现业务间零干扰的安全隔离与资源的极致压榨。以毫秒级极致响应、削减 90% 内存成本与自研的技术底蕴,定义下一代高性能 AI Search 的基础设施。

2026-07-28

01- Elasticsearch 向量搜索及 AI Agents 开发 - 刘晓国 线上 20260726

详细介绍 Elasticsearch 向量搜索及最新的进展。使用具体的例子来展示如何使用向量(稀疏向量,密集向量)搜索来进行语义搜索, 使用 AI Assistant 对数据进行分析,MCP,Playground 及 使用最新的 AI agents builder 轻松地创建自己的 Agents。AI agent builder 为 agents 提供更多的上下文,从而更加快速而准确地搜索到我们想要的结果。

2026-07-28

03-从 Prompt 到 Harness - Elastic 在 AI Agent 三大工程上的设计取舍 - 李捷 线上 20260726

舍展开,深入探讨企业级AI Agent从“IDE插件”向“常驻服务”演进过程中的关键技术挑战与解决方案。文章以内容OpenClaw等概要:本文围绕Elastic实际案例为基础,强调在AI Agent三大“看得见(工程——提示词工程、可观测性)、会上下文工程与Harness干活(跨框架协同)、选得工程中的设计取舍展开,深入对(精准检索)”作为Agent探讨企业级AI的结构性需求, Agent从“IDE插件”向系统阐述了如何通过“常驻服务”演进过程A2A协议实现中的核心挑战与Agent间协同、解决方案。重点阐述利用Elasticsearch实现了Agent的可观测性(Observability)、统一记忆管理与跨框架协同(A2A/S混合检索,并构建kills)和精准企业级可观测体系保障高可用、安全检索(Vector Search)三大合规与成本可控结构性需求,提出。; 适合通过Elasticsearch实现人群:具备一定统一记忆管理、AI与系统架构基础混合检索与安全,从事企业级AI Agent隔离,并结合OpenTelemetry研发、运维或技术实现全链路追踪与决策的技术人员,审计,推动AI尤其是关注Agent可观 Agent从玩具级测性、跨工具迈向企业级生产力系统协同与生产系统。; 适合人群:具备一定落地的工程师与架构师。;AI与系统架构基础 使用场景及目标:①理解,从事企业级AI AgentAI Agent在企业研发、运维或环境中所需的可观测性体系安全合规的技术人员,尤其是关注可观设计,包括LL测性、自动化协同M层、框架与数据治理的层与链路追踪;架构师与开发者②掌握基于。; 使用场景及目标:Elasticsearch的① 构建统一记忆管理、高可用、可语义检索与安全审计的企业级常驻Agent系统;隔离方案;③学习② 解决本地Harness Engineering中的任务存储导致的记忆孤编排、权限岛、脑分裂控制与A2A与安全黑盒协同机制,推动问题;③Agent从实验性 实现基于A2A协议的跨Agent协同与闭环自动化;④ 利用Elasticsearch提升检索工具迈向生产级系统; 阅读建议:此资源聚焦企业级Agent工程化落地,建议精度与上下文供给结合文中提到的能力; 阅读建议:本文结合OTel集成、实际案例(如OpenIngest Pipeline配置Claw)与技术与Elastic实战方案(OTel、案例进行动手实践,ELSER、D重点关注可观测性LS),建议读者数据的富化分析结合自身Agent架构与跨终端状态现状,重点关注可观同步的设计思路。测性实施路径、内存检索优化与安全合规设计,逐步推进Agent的工程化落地。

2026-07-28

AI-SecOps-合并版-理论与部署 - Luke 线上 20260722

内容概要:本文介绍了“分层AI SecOps”架构,结合Elasticsearch(ES)机器学习与本地大模型实现安全运营的自动化闭环。第一层利用ES机器学习进行无监督、低成本、常驻的全量日志监控,识别异常行为如请求突增、罕见访问或群体偏离;第二层由本地大模型按需介入,对被标记的异常进行深度调查,判断是否为真实攻击、爬虫或误报,并生成定级通报。系统通过n8n工作流集成Webhook触发、MCP服务反查ES上下文,结合本地LLM推理,最终实现从告警检测到调查报告自动生成的完整流程。部署基于Kubernetes,支持GLM、MiniMax等本地模型,保障数据主权、无速率限制且无Token费用。; 适合人群:具备一定安全运维和AI应用基础,从事SecOps、AIOps平台建设的技术人员及架构师,尤其是关注大模型本地化落地的安全团队; 使用场景及目标:① 实现全天候低代价的日志异常检测与高价值告警筛选;② 构建“轻量监控+重型研判”的分层智能安全响应体系,提升SOC效率并降低人工负担; 阅读建议:该方案强调工程可落地性,建议读者结合开源组件(n8n、es-mcp)动手部署,重点理解ML与LLM的任务分工、上下文传递机制及本地大模型选型策略,以适配自身环境。

2026-07-23

01-AI 搜索行业实践 - 阿里云 ES 的技术进阶 - 汤祯捷 线上 20260708

内容概要:本文介绍了阿里云Elasticsearch在AI搜索领域的技术进阶与创新实践,重点阐述了其自研FalconSeek内核引擎、云原生存算分离架构以及AI驱动的Agentic Search能力。平台全面支持RAG知识库、多模态混合检索(文本、图像、视频)、低代码Agent工作流编排,并深度融合百炼大模型与PAI平台,实现从数据采集、向量检索、智能推理到结果生成的全链路闭环。通过DiskBBQ量化技术和GPU加速,显著降低内存消耗与存储成本,提升向量检索效率,同时提供ES|QL多维分析、冷热数据分层、智能诊断等企业级能力,构建高性能、低成本、易运维的企业级AI搜索分析平台。; 适合人群:云计算工程师、搜索算法研发、AI应用开发者、企业级SaaS服务架构师,以及关注日志分析、智能搜索、RAG和Agent系统落地的技术决策者;具备一定大数据与AI基础知识的研发人员。; 使用场景及目标:① 构建企业内部知识库实现精准与对话式搜索;② 实现跨模态内容检索与智能风控;③ 支持出海营销中的用户画像、情感分析与自动化内容生成;④ 打造基于ELK的日志分析与可观测性系统;⑤ 结合大模型实现RAG与智能Agent工作流。; 阅读建议:此资料侧重于阿里云Elasticsearch在AI时代的技术演进路径,涵盖架构设计、性能优化与实际业务场景落地,建议结合自身业务需求重点关注存算分离、向量检索优化、Inference API集成及Agent开发能力,并参考案例进行技术验证与方案设计。

2026-07-13

02 - ES性能优化的人机协同新范式-腾讯云-房青松 武汉 20260627

引入 AI 做性能优化,效率提升是显而易见的,包括瓶颈定位更快、代码迭代更快、验证周期更短。但真正决定优化质量的,是工程师的判断力,即何时该信任 AI 的分析,何时需要深入 Debug 挖掘细节,如何将这些高质量的细节反哺给 AI 以提升其分析准确性。本议题将完整分享这套"AI 提速 + 工程师兜底"的协作模式,以及工程师核心能力在 AI 时代的新定义。

2026-06-28

03 - 龙虾看得见、会干活、选得对:Elastic 加持 OpenClaw 实战 李捷 武汉 20260627

内容概要:本文围绕AI Agent在企业级应用中的三大核心需求——“看得见、会干活、选得对”展开,结合Elastic与OpenClaw实战案例,深入探讨了如何通过可观测性(Observability)、跨框架协同(A2A/Skills)和精准检索(Vector Search)构建可靠、高效的Agent系统。文章详细分析了当前主流AI Agent的技术现状,提出从IDE插件到企业级常驻Agent的演进路径,并重点讲解了提示词工程、上下文工程与Harness Engineering三大工程关键点。针对本地化Agent存在的物理局限,如信息孤岛、并发锁死、记忆丢失等问题,提出基于Elasticsearch的统一记忆管理方案,实现高可用、跨终端协同、语义检索与安全隔离。; 适合人群:具备一定AI和软件开发基础,从事AI Agent研发、运维或架构设计的技术人员,尤其是关注企业级AI系统落地的工程师与技术管理者。; 使用场景及目标:①构建可监控、可审计的企业级常驻AI Agent系统;②解决Agent在多会话、高并发、跨设备场景下的记忆一致性与检索效率问题;③实现基于A2A协议的Agent协同与自动化闭环诊断; 阅读建议:此资源强调工程实践与系统思维,建议结合Elastic技术栈动手实践文中提到的可观测性接入、Ingest Pipeline配置、混合检索实现等关键步骤,并参考扩展阅读深化对记忆管理与技能路由的理解。

2026-06-28

04 - 从文本到语义-Elasticsearch向量检索在小米的规模化落地与优化实践 周名裕 武汉 20260627

小米基于 ES 向量检索的规模化落地实践,分享从文本搜索到语义理解演进过程中的优化与实战经验。

2026-06-28

01 - Elasticsearch 向量搜索及 AI Agents 开发 刘晓国 武汉 20260627

内容概要:本文系统介绍了Elasticsearch在向量搜索与AI智能体(Agents)开发领域的核心技术与应用实践。重点阐述了向量搜索的演进背景,包括稀疏向量(Sparse Vector)与稠密向量(Dense Vector)的原理、差异及其在语义搜索、多模态检索中的应用。文章还展示了Elasticsearch如何通过混合搜索(Hybrid Search)融合关键词与向量搜索,支持RAG(检索增强生成)系统,并推动AI智能体的发展。此外,涵盖了嵌入模型部署、数据摄入、向量查询构建、硬件加速优化、新型存储格式(如DiskBBQ)、语义文本字段自动分块等关键技术细节,最后深入探讨了基于Elasticsearch构建智能搜索Agent的架构与工作流程。; 适合人群:具备一定搜索技术或大数据基础,从事搜索推荐、AI应用、数据工程等相关工作的研发人员、架构师及技术管理者,尤其适合关注RAG、智能Agent与向量数据库落地实践的技术人员。; 使用场景及目标:①构建支持语义理解的智能搜索系统;②实现基于Elasticsearch的RAG应用以提升大模型准确性;③开发具备自主检索与决策能力的AI智能体;④优化大规模向量搜索性能与成本;⑤实现多模态内容检索与智能问答系统。; 阅读建议:建议结合Elasticsearch实际环境动手实践文中提到的模型导入、数据嵌入、混合查询与Agent构建流程,重点关注RRF融合策略、上下文工程设计及MCP集成方式,以深入掌握AI时代搜索系统的构建方法。

2026-06-28

01-AutoOps - 检测, 诊断并优化 Elasticsearch - 徐浩 线上 20260624

管理 Elasticsearch 不应该总是疲于奔命地救火。本次直播将介绍 Elastic 的 AutoOps,它提供了一种更智能的集群运行方式,能够实时检测问题、自动进行根本原因分析并提供可执行的建议。 AutoOps 分析数百个指标,以便及早发现问题、指导解决问题,并不断优化性能和成本。 结果:更快的故障排除速度、更低的运营成本,以及更多的时间专注于从数据中创造价值。

2026-06-25

01-当 OpenClaw 遇见 Elasticsearch:打造 Agent 长期记忆系统 - 程治玮 线上 20260603

内容概要:本文介绍了如何通过开发OpenClaw memory-elasticsearch插件,利用Elasticsearch增强Agent的长期记忆系统。文章首先阐述了Agent为何需要长期记忆,指出默认无状态设计导致上下文易丢失的问题,并介绍了OpenClaw原有的基于Markdown文件层与SQLite索引层的记忆机制。随后详细说明了该机制在扩展性、检索效率、复杂查询能力和记忆维护方面的局限性。在此基础上,提出构建基于Elasticsearch的插件解决方案,涵盖插件的架构设计、核心功能实现,包括插件声明(manifest)、运行时入口、工具注册(如memory_search、memory_update等)、CLI命令和生命周期钩子(如before_prompt_build和agent_end)的集成。最终通过演示展示了插件如何提升记忆系统的检索性能与可扩展性。; 适合人群:具备一定Agent开发经验、熟悉插件机制与搜索技术的研发人员,尤其是关注长期记忆系统构建的AI应用开发者; 使用场景及目标:①解决Agent本地记忆在多设备同步、团队协作下的扩展性问题;②提升记忆检索的精度与效率,支持复杂的结构化查询与聚合分析;③实现记忆的自动化管理与质量控制; 阅读建议:建议结合GitHub开源代码(https://github.com/cr7258/memory-elasticsearch)进行实践,深入理解插件化架构设计与Elasticsearch在Agent记忆系统中的整合方式,并尝试部署调试以掌握完整流程。

2026-06-03

04 - 智能体查询ES库的探索 -通过API封装实现自然语言查询 - 杨俊波 广州 20260523

本次分享将介绍如何通过 AI 智能体封装企业现有的 ES 数据 API(XDP 数据平台),实现自然语言驱动的数据查询能力。在技术方案层面,将系统阐述面向数据查询的 Agent 架构设计,采用 Plan-and-Execute 模式将复杂查询任务分解为规划、执行、验证的闭环流程,解决意图理解、参数生成、结果解读等核心难题。在工程实践层面,将分享如何通过智能体层封装底层数据接口,包括智能筛选策略决策(结构化字段匹配 vs 关键词检索)、基于向量库的实体识别与关键词召回、LEO 表达式生成等企业级落地方案。同时也会探讨 API 封装模式的优势与局限,以及在查询合法性校验、超时熔断、错误自诊断等方面的鲁棒性建设经验。最后将展示美妆行业真实业务场景的应用效果,验证非技术人员通过自然语言自助分析数据的可行性与价值。

2026-05-25

03-网易互娱基于Kibana的数据可视化平台的建设实践与技术沉淀-张哲-广州-20260523

内容概要:本文介绍了网易互娱基于Kibana构建数据可视化平台的实践与技术沉淀,重点阐述了ELK架构设计、Kibana平台的演进过程及其核心技术挑战的解决方案。文章详细展示了从原始日志采集(通过Flink、Kafka、Pulsar等)到Elasticsearch存储与索引管理的整体链路,并深入剖析了Kibana平台前台功能、多租户设计、元数据分析与升级机制。针对旧版Kibana网关存在的代码耦合高、升级困难等问题,团队自主研发了新一代NGK网关,采用Spring Cloud和Gradle多模块构建,实现高内聚、易维护的架构,并通过Testcontainers实现自动化版本迁移。同时,平台加强了可观测性建设,支持全链路监控与告警,并探索AI能力集成,如自然语言查询、异常模式识别和智能可视化推荐,推动数据平台智能化发展。; 适合人群:具备一定大数据平台使用经验或从事日志系统、数据可视化平台开发与运维的工程师,以及关注Kibana、ELK栈演进与AI融合的技术管理者;; 使用场景及目标:①了解大规模ELK平台在企业级应用中的分层架构设计与性能优化策略;②学习如何解决Kibana版本升级难题与多租户权限管理;③掌握基于NGK网关的高可用、可扩展平台开发方法;④探索AI在日志分析与数据可视化中的落地路径; 阅读建议:此资源以实际工程案例为主线,结合架构图与流程说明,建议读者结合自身平台建设需求,重点关注元数据管理、自动化升级与AI集成部分的设计思路,并参考其测试与监控体系完善现有系统。

2026-05-25

01-Elasticsearch 向量搜索及 AI Agents - 刘晓国 广州 20260523

内容概要:本文系统介绍了Elasticsearch在向量搜索与AI智能体(Agents)领域的技术进展与应用实践。重点阐述了向量搜索如何通过稠密(Dense)与稀疏(Sparse)向量模型实现语义理解、相似度匹配及多模态内容检索,并展示了其与传统关键词搜索融合形成的混合搜索能力。文章还深入探讨了检索增强生成(RAG)架构、智能体开发流程,以及Elasticsearch如何通过语义字段、自动分块、模型推理等能力支撑AI应用落地,同时介绍了硬件加速、向量量化、新型存储格式等性能优化技术。; 适合人群:具备一定搜索技术或AI应用开发经验的技术人员、架构师及数据工程师,尤其是关注RAG、智能体构建与向量数据库实践的从业者。; 使用场景及目标:① 构建支持语义理解与混合检索的智能搜索系统;② 开发基于Elasticsearch的RAG应用与AI智能体,提升大模型上下文质量;③ 优化向量搜索性能与成本,应用于推荐系统、图像搜索、内容发现等场景。; 阅读建议:此资料兼具理论与实战指导价值,建议结合Elasticsearch实际部署环境,逐步实践从模型导入、数据嵌入、混合查询到智能体集成的全流程,并关注最新版本特性如Semantic Text字段、MCP集成与硬件加速能力。

2026-05-25

02-易捷问数+ Elastic :从数据底座到 AI 认知的跨场景智能化实现 -Luke 广州 20260523

内容概要:本文介绍了基于MCP协议的社区开源方案,旨在解决Elasticsearch官方在9.3版本前缺乏原生AI支持的问题,实现从数据底座到AI认知的跨越。通过自主研发的两个开源MCP服务——elasticsearch-mcp和mcp-server-kibana,支持ES 5.x至9.x全版本兼容,提供包括索引管理、映射查看、DSL查询、ILM策略配置及Kibana仪表盘自动化创建等核心功能。系统通过自然语言驱动,实现对Elastic Stack的零代码操作,支持本地stdio和远程HTTP双模式通信,推动AI与运维场景深度融合。; 适合人群:熟悉Elasticsearch和Kibana的技术人员,尤其是从事AIOps、数据平台建设、搜索系统运维与开发的工程师及架构师;适用于希望在不升级集群的前提下引入AI能力的企业技术团队。; 使用场景及目标:①通过自然语言自动创建和管理ILM生命周期策略,提升运维效率;②基于语义指令自动生成和修改Kibana可视化仪表盘,降低使用门槛;③实现跨版本Elastic集群的统一AI控制接口,推动老旧系统智能化升级; 阅读建议:建议结合开源项目代码(npm包@tocharian/elasticsearch-mcp 和 @tocharian/mcp-server-kibana)进行实践部署,重点关注MCP服务与AI客户端(如Claude Desktop)的集成方式,并通过现场DEMO学习自然语言到API调用的映射逻辑,同时注意安全审计与权限控制配置。

2026-05-25

Elastic Agent Builder 介绍 - 核心概念与应用场景 - 夏乔 线上 20260520

随着大语言模型进入企业业务场景,AI 的核心挑战已不再是“能否对话”,而是能否在真实环境中安全读取数据、调用工具、执行流程,并形成可追溯、可治理的业务闭环。 Elastic Agent Builder 正是面向这一目标推出的 Agent 构建与执行框架。它以 Elasticsearch 可靠的数据为上下文基础,将 Agent 推理、Skill 能力封装、Tool 工具调用、Connector 外部系统连接、Workflow 流程编排等能力整合在一起,帮助企业构建可落地的 AI Agent 系统。 无论您是 Elasticsearch 开发者、运维工程师、安全分析人员,还是正在探索企业级 AI Agent 架构的技术团队,本次分享都将帮助您快速建立一套清晰、可落地的 Agent Builder 认知框架。

2026-05-21

01-ElasticRelay - 多源实时 CDC 到 Elasticsearch 同步引擎 - 林继繁 上海 20260513

内容概要:本文介绍了ElasticRelay——一款轻量级、高性能的多源实时CDC(变更数据捕获)同步引擎,旨在将MySQL、PostgreSQL和MongoDB的数据实时同步至Elasticsearch。该工具采用Go语言开发,仅需单一二进制文件即可运行,内存占用约50MB,支持毫秒级延迟、断点续传、数据零丢失,并内置数据脱敏、字段映射、表达式计算等转换功能。通过声明式JSON配置,用户可快速完成部署与管理,无需编写代码,且支持配置热重载,极大降低了运维复杂度和学习成本。相比传统Debezium+Kafka架构,ElasticRelay在部署效率、资源消耗和实时性方面具有显著优势。; 适合人群:具备一定数据库与数据同步基础知识的开发、运维及数据工程师,尤其适用于中小型团队或对实时搜索、数据分析有高时效性要求的技术人员。; 使用场景及目标:① 替代复杂的多组件CDC链路(如Kafka+Debezium),实现数据库变更实时入仓/入索引;② 满足GDPR等隐私合规需求,实现敏感数据开箱即用的脱敏处理;③ 支持大表全量初始化加速、故障自动恢复、动态配置更新等生产级特性; 阅读建议:建议结合GitHub开源项目(github.com/yogoosoft/ElasticRelay)进行实践操作,重点关注其配置结构、检查点机制与数据转换能力,并可通过本地搭建环境验证同步延迟、吞吐性能及DLQ容错表现。

2026-05-13

Elastic China AI Search Tech Day slides-external 0420.zip

Elastic China AI Search Tech Day slides-external 20260418. Elastic 中国 AI 搜索大会议

2026-04-28

06-SmellDoc 基于 Elastic Stack 的微服务异味检测与可观测分析方法 - 邢永超 线上 20260422

内容概要:本文提出了一种基于Elastic Stack的微服务异味检测与可观测分析方法——SmellDoc,旨在解决现有工具在异味检测中覆盖范围有限、可视化深度不足以及检测与运行时监控脱节的问题。SmellDoc通过扩展Elastic APM并集成自研插件apm-springcloud-business-plugin,采集微服务系统的静态结构与运行时多源数据,结合24类微服务异味的检测规则,在Kibana中实现异味的统一可视化展示。系统涵盖三大功能模块:异味知识库(Bad Smell Knowledge Tab)、运行监控(Monitor Tab)和异味检测(Detection Tab),支持从指标采集、数据聚合、异味识别到结果解释的全流程闭环分析。此外,文章还介绍了配套的自适应重构框架SABER,基于MAPE-K模型实现检测与自动化修复的联动,提升系统自愈能力。; 适合人群:具备微服务架构、可观测性技术(如APM、Kibana)基础的软件工程师、系统架构师及从事DevOps与持续治理的研究人员,尤其适合关注微服务质量优化与自动化运维的技术团队; 使用场景及目标:①识别微服务架构中的典型异味(如Mega Service、Cyclic Dependency、Fragile Service等),辅助架构治理;②将异味检测结果与链路追踪、性能指标联动分析,提升根因定位效率;③结合SABER框架探索自动化重构路径,推动微服务系统的自适应优化; 阅读建议:建议结合GitHub开源项目(BSDProject、kibana_bad_smell_detection_plugin)进行实践部署,重点关注插件实现机制(如Byte Buddy字节码增强、Micrometer指标上报)与检测规则的设计逻辑,并通过实际微服务系统验证检测效果与重构收益。

2026-04-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除