Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(2721)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elastic 9.3:与数据对话、构建自定义 AI agents、实现全自动化

Elastic 9.3正式发布,带来多项创新功能:新增Elastic Workflows技术预览,实现数据自动化处理;Elastic Agent Builder正式上线,简化AI代理开发;集成Jina AI模型提供多语言嵌入能力;通过NVIDIA cuVS实现GPU加速向量索引,提升12倍吞吐量。在可观测性方面,新增日志压缩和Amazon Bedrock集成;安全功能增强实体风险分析和自动化响应。该版本还优化了Elastic Cloud Serverless性能,搜索延迟降低35%。这些更新进一步强化了El

2026-02-04 15:01:47 792

原创 Elastic 线下 Meetup 将于 2026 年 3 月 21 号下午在上海举行

2026年3月21日,ElasticMeetup上海站将在徐汇区模速空间举办。活动由Elastic、悦高软件和新智锦绣联合主办,聚焦Elasticsearch技术与AI应用。主要内容包括:Elastic社区布道师刘晓国分享向量搜索及AI Agents开发;腾讯云、阿里云专家解析百亿级AI搜索实践;悦高软件介绍多源实时CDC同步引擎ElasticRelay;以及Elastic中国架构师朱杰探讨AI驱动的可观测解决方案。活动还设有茶歇交流及抽奖环节。报名链接:https://elastic.huodongxin

2026-01-30 08:36:34 1476

原创 Elastic:DevRel 通讯 — 2026 年 1 月

Elastic DevRel团队发布2026年1月通讯,重点介绍Elastic Stack 9.2版本新功能:包括Elastic Agent Builder框架、AI驱动的日志摘要Streams、增强的ES|QL查询语言等。同时推出Elastic Inference Service(EIS)支持Jina模型,实现多语言语义搜索。通讯还包含技术博客、视频教程链接和社区活动信息,涉及安全、可观测性等主题。新版本通过Disk BBQ等技术显著提升向量搜索效率,并优化存储性能。

2026-01-13 07:34:42 1137

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 26957 19

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

2020-02-25 20:01:55 170719 105

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 18462 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 176170 32

原创 弥合差距:从云原生到大型机的端到端可观测性

摘要:本文探讨了在混合企业环境中实现端到端可观测性的解决方案。通过结合IBM Z Observability Connect和Elastic Observability,可以解决现代云原生应用与IBM主机系统交互时的可观测性挑战。OpenTelemetry作为标准,将主机系统纳入统一监控,消除"断裂的Trace"问题。文章详细介绍了架构实现,包括Collector、Processor和Consumer的配置,并强调了OTel规范的重要性。该方案实现了从现代应用到IBM主机的端到端可视化,

2026-02-09 15:08:38 168

原创 使用 OpenTelemetry 和 Elastic Streams 进行 Windows 事件日志监控

本文介绍了如何通过OpenTelemetry和Elastic Streams优化Windows事件日志监控。传统方法面临日志量大、解析困难等问题,而新方案采用标准化OTel收集器进行数据摄取,结合AI驱动的流式分区技术自动分类日志类型。更重要的是利用LLM模型理解日志语义,自动识别关键事件(如服务崩溃、启动失败等)并生成警报建议,实现了从被动存储到主动分析的转变。这种AI增强的监控方式显著提升了Windows基础设施的可观测性,使管理员能够更高效地从海量日志中提取有价值信息。

2026-02-09 14:19:05 672

原创 使用 Elastic Agent Builder 和 OpenTelemetry 观察设备

摘要:Elastic专家Poornima Ramakrishnan分享了如何利用Elastic AgentBuilder和OpenTelemetry实现家庭IoT设备可观测性。通过将智能家电数据接入Elastic Cloud Serverless,系统实现了自然语言查询、实时监控和异常检测。AgentBuilder技术将原始数据转化为交互对话,使非技术人员也能轻松获取洞察。实验证明可观测性原理不仅适用于企业系统,任何产生数据的设备都能提供有价值的信息,让数据真正"开口说话"。(149字)

2026-02-09 14:04:47 642

原创 在 GCP 上使用 EDOT Cloud Forwarder 进行 OpenTelemetry 日志摄取的规模测试

本文介绍了在Google Cloud Run上对EDOT Cloud Forwarder进行负载测试的方法,通过调整运行时参数优化性能。测试发现:1) 设置cpu_idle:false可避免GC饥饿;2) 将GOMEMLIMIT设为容器内存90%能防止OOM;3) 默认GOGC=100提供最佳平衡。结果表明1vCPU实例最多处理10个并发重负载请求,建议采用水平扩展策略。这些调优显著提升了服务稳定性,为类似serverless应用提供了配置参考。

2026-02-09 10:25:53 584

原创 使用 Groq 与 Elasticsearch 进行智能查询

摘要:Elasticsearch与Groq硬件推理引擎结合,显著提升LLM查询速度。Groq的LPU芯片架构专为高速LLM推理设计,能保持毫秒级响应时间。通过案例演示,使用Groq可将自然语言搜索延迟从1.5秒降至250ms,满足SLA要求。Elastic Agent Builder现已支持Groq连接,测试显示其性能比内置LLM快3倍。这种组合为图像理解、摘要生成等实时AI应用开辟了新可能。

2026-02-07 06:42:35 744

原创 Elasticsearch:Workflows 介绍 - 9.3

工作流(Workflow)是一个通过自动化来实现特定结果的、已定义的步骤序列。它是一个可复用、可版本化的 “配方”,用于将输入转化为行动。为什么要使用工作流仅仅洞察数据还不够。真正的价值在于行动和结果。工作流完成了从数据到洞察再到自动化结果的完整路径。你的关键运维数据已经存在于 Elastic 集群中:安全事件、基础设施指标、应用日志以及业务上下文。工作流让你可以在数据所在的位置直接实现端到端流程自动化,而无需依赖外部自动化工具。工作流解决了常见的运维挑战,例如:告警疲劳:通过自动化响应来减少人工

2026-02-06 14:56:44 615

原创 Elasticsearch:ES|QL 支持 dense vector 搜索

本文介绍了如何在Elasticsearch Query Language (ES|QL)中使用dense_vector字段进行向量搜索。主要内容包括:1)基础检索vector数据的方法;2)使用KNN函数进行近似搜索及其参数配置;3)将KNN与过滤器结合使用;4)使用vectorsimilarity函数进行精确搜索;5)实现语义搜索和混合搜索;6)自定义评分功能。文章强调ES|QL使向量搜索更简单,能自动处理prefilters和参数,并支持与文本搜索无缝集成。未来还将增加更多向量运算功能。

2026-02-06 11:36:15 910

原创 2026 年可观测性趋势(第 2 部分): GenAI 和 OpenTelemetry 重塑格局

摘要:最新调查显示,生成式AI和OpenTelemetry正重塑企业可观测性领域。85%的组织已采用GenAI进行可观测性分析,预计两年内将达98%,主要应用于数据关联、根因分析等场景。OpenTelemetry采用率翻倍,11%已投入生产。报告指出,供应商需重点集成GenAI功能、完善OTel支持并提供LLM可观测性方案,这些将成为2026年评估可观测性平台的核心标准。尽管当前GenAI效率提升有限,但未来五年预计显著增长,同时安全和幻觉问题仍需重视。(149字)

2026-02-06 09:37:20 699

原创 介绍 Elastic Workflows:用于 Elasticsearch 的原生自动化

Elastic推出内置在Elasticsearch中的自动化引擎Elastic Workflows,将脚本化自动化和AI驱动的自动化统一在一个平台中。该方案解决了数据孤岛问题,无需构建额外集成即可直接访问数据上下文,同时兼顾传统自动化的可靠性与AI的推理能力。Workflows采用YAML定义,支持事件驱动和组合调用,并与Elastic Agent Builder的AI代理深度集成,使代理既能推理又能执行具体操作。该技术现以预览版提供,适用于安全分析、SRE运维等场景,帮助用户在不牺牲控制力的前提下提升自动

2026-02-05 18:07:36 644

原创 跳过 MLOps:通过 Cloud Connect 使用 EIS 为自管理 Elasticsearch 提供托管云推理

Elastic推出CloudConnect的Elastic Inference Service(EIS),为自管理Elasticsearch用户提供混合架构解决方案,解决语义搜索和RAG应用中的MLOps与硬件瓶颈问题。该服务允许本地集群将计算密集的模型推理任务委托给Elastic Cloud的GPU集群,同时保持数据本地存储。通过简单配置即可使用Jina等先进模型进行语义搜索,并可直接访问Claude等LLM模型实现RAG功能,无需管理GPU基础设施或处理API密钥。EIS现已在Elastic Stack

2026-02-05 16:11:07 1041

原创 Elasticsearch:使用 Base64 编码字符串加速向量摄取

Elasticsearch推出Base64编码向量提升索引性能。通过将JSON浮点数组转换为Base64字符串,消除了数值解析瓶颈,使DiskBBQ索引吞吐量提升100%,HNSW提升20%。v9.3版本已支持客户端自动转换,仅需最小代码改动即可获得显著性能提升。这一改进使Base64成为高吞吐量环境下向量摄取的优选方案。

2026-02-05 12:35:33 636

原创 Jina Rerankers 为 Elastic 推理服务(EIS)带来了快速、多语言的重排序能力

Elastic在EIS上推出jina-reranker-v2和v3多语言重排序模型,支持直接在Elasticsearch中实现高精度检索和RAG工作流。v2作为紧凑型模型支持函数调用和大规模推理,v3则通过listwise重排序提供更优性能。这些模型可与jina-embeddings-v3结合使用,开发者无需管理基础设施即可构建多语言搜索管道。Elastic Cloud试用用户现可体验这些功能。

2026-02-04 12:06:01 1145

原创 Elasticsearch:使用 Elastic Workflows 构建自动化

摘要:Elastic推出工作流自动化功能,通过YAML定义实现Elasticsearch平台内的自动化流程。工作流包含触发器、输入参数和执行步骤,支持查询数据、条件分支、调用API及集成外部服务。文章演示了创建国家公园索引的示例工作流,展示索引操作、条件逻辑和数据流转功能,并介绍了与AI代理的集成方式。该功能目前处于技术预览阶段,可用于搜索、可观测性和安全等场景的自动化处理。

2026-02-04 11:19:29 1347 1

原创 金融服务公司如何大规模构建上下文智能

摘要:金融服务行业正从传统数据访问向"数据无处不在"的智能决策模式转变。Elastic通过实时上下文搜索技术,帮助金融机构实现嵌入式智能决策。其解决方案整合结构化/非结构化数据流,支持欺诈检测、合规审查等实时应用,同时通过Streams实现持续数据处理和AgentBuilder确保人工监督。领先机构已采用该技术统一数据基础,提升决策速度与准确性。这种企业级数据能力将成为2030年金融机构的核心竞争力。(149字)

2026-02-03 16:32:06 872

原创 上下文工程:金融服务中构建可信 AI 的缺失层

金融服务AI面临的关键挑战已从模型能力转向上下文管理。Elastic提出"上下文工程"概念,强调在实时性、治理和可解释性方面为AI系统提供支持。文章指出,金融行业特有的监管要求、数据分散性和实时决策需求,使得上下文管理成为AI应用的决定性因素。Elastic平台通过统一数据、强化治理、支持复杂查询等功能,帮助金融机构构建可信的AI决策系统,在欺诈检测、客户服务、风险管理等场景实现可靠应用。文章认为,未来金融AI的竞争优势将取决于上下文管理能力,而非单纯的算法性能。

2026-02-03 15:58:31 972

原创 Elasticsearch:生产级生成式 AI 沙箱的实践指南

作者:来自 Elastic探索用于生成式 AI 沙箱的配方,为开发者提供一个安全的环境来部署应用原型,同时实现隐私和创新。动手体验 Elasticsearch:深入了解我们的,开始一个,或者现在就在你的上尝试 Elastic。构建生成式 AI(GenAI)应用正在风靡一时,而上下文工程(context engineering),也就是为大型语言模型(- LLM)提供所需的提示结构和数据,使其在不自行补全缺失信息的情况下返回具体且相关的答案,是过去 24 个月中出现的最受欢迎的模式之一。

2026-02-03 08:11:02 814

原创 Elasticsearch:用于 LLMs 和搜索引擎的查询重写策略以改善结果

本文探讨了利用大型语言模型(LLMs)优化搜索引擎查询重写的策略。研究聚焦于词汇关键词扩展、伪答案生成等方法,通过将LLM输出与Elasticsearch查询模板结合,显著提升了搜索相关性和召回率。实验结果表明,在词汇搜索中,基于伪答案生成的提示策略表现最佳,而混合搜索场景下则需保持原始查询权重。文章还验证了小语言模型在该任务中的可行性,并提出了针对特定领域的优化建议。这种模块化、任务导向的查询优化方法为现代搜索管道设计提供了新思路。

2026-01-31 10:22:56 914

原创 使用 LangGraph 和 Elasticsearch 构建 人机协同( HITL )AI agent

本文探讨了如何结合LangGraph和Elasticsearch构建人机协同(HITL)系统。该系统通过让用户参与决策过程,提升了AI输出的可靠性和上下文感知能力。文章以法律案例查询为例,展示了工作流程:系统先通过Elasticsearch检索相关判例,然后让律师选择最相关的案例,在生成初步分析后检测歧义并请求用户澄清,最终生成完整法律意见。这种架构适用于多种低容错场景,如合规审查和决策支持,既能保持系统效率,又能确保人工干预只在必要时触发。

2026-01-30 08:18:20 685

原创 Elasticsearch:使用 Elastic Workflows 构建自动化 - 9.3

本文介绍了Elastic Workflows的核心功能和使用方法。Elastic Workflows是内置在Elasticsearch平台中的自动化引擎,通过YAML定义工作流,支持触发器、输入参数和多步骤执行。工作流可以查询Elasticsearch、转换数据、调用外部API,并与Slack、Jira等服务集成。文章通过创建国家公园索引的示例演示了工作流的基本操作,包括条件分支、数据传递等核心功能,并展示了如何结合AI生成诗歌并发送到Slack。最后指出Workflows未来将与Agent Builder

2026-01-29 14:50:16 718 1

原创 Elastic Support 如何利用 AI 提供更快、专家验证的解决方案

Elastic推出"人机协作"技术支持方案,将AI与专家经验深度融合。该方案采用四步流程:检查自助服务历史、理解核心需求、验证知识库、复现问题。AI扮演三种角色:研究助手、环境复现器、解决方案编辑器,但最终决策权始终在人工专家手中。客户可通过反馈机制帮助优化服务。Elastic同时开放AgentBuilder工具,支持企业构建自己的AI助手。这种协作模式既发挥AI的高效处理能力,又保留人类专家的关键判断,为客户提供更可靠的技术支持体验。

2026-01-29 11:02:52 667

原创 Elastic 和 Alteryx:为企业 agents 提供可信、可搜索的数据基础

Elastic与Alteryx合作推出集成解决方案,将Alteryx的数据治理平台与Elasticsearch向量数据库相结合,为企业构建可靠的AI代理系统。该方案通过Alteryx进行数据清洗和转换,利用Elasticsearch实现高效语义检索,为LLM提供准确上下文,减少AI幻觉。这种端到端的RAG工作流可应用于知识管理、智能客服和合规质检等场景,帮助企业快速部署可信的AI应用,提升决策效率和数据价值转化。

2026-01-29 08:02:14 605

原创 Elasticsearch:Apache Lucene 2025 年终总结

2025年Apache Lucene迎来爆发式增长:全年完成1,756次提交和8个版本发布,社区新增98位贡献者。性能优化成效显著,查询速度提升60%达到170qps,主要受益于自动向量化、SIMD优化及批量打分等创新。向量搜索领域实现三大突破:ACORN算法提升过滤搜索效率、多段搜索优化并发一致性、批量打分接口显著降低计算开销。运维层面改进包括堆外内存监控和HNSW索引优化。尽管修复一个复杂bug耗时月余仅用一行代码,但体现了社区的技术实力。随着9位新committer和2位PMC成员的加入,这个拥有25

2026-01-29 07:47:37 930 1

原创 使用 Discord 和 Elastic Agent Builder A2A 构建游戏社区支持机器人

本文介绍了如何使用Elastic Agent Builder的Agent-to-Agent(A2A)服务器构建游戏社区Discord机器人。通过ES|QL工具实现游戏数据分析(如排行榜、英雄统计),并结合语义搜索工具回答游戏机制问题。文章详细说明了数据准备、工具创建、Agent配置和Discord集成过程,展示了如何让机器人既能回答结构化查询("当前meta是什么?")又能处理非结构化问题("如何解锁坐骑?")。这种方案让游戏公司能通过玩家日常使用的Discord平台

2026-01-28 09:55:32 974 1

原创 金融服务公司如何大规模构建上下文智能

摘要:文章探讨了数据普及在金融服务行业的应用趋势,指出到2030年成功将取决于将智能嵌入系统和决策流程。Elastic通过实时上下文搜索、Streams数据流处理和AI代理构建等技术,帮助金融机构实现欺诈检测、合规监控等场景的智能化。领先机构已通过统一数据基础、实时分析和人工监督相结合的方式,在提升效率的同时确保可解释性。Elastic的解决方案使企业能够构建可重用的智能数据层,在保证安全合规的前提下加速决策,实现真正的数据普及。

2026-01-27 08:45:55 640

原创 Elasticsearch:一切都与这些分块有关!

Elasticsearch推出新功能优化LLM上下文处理,包括chunk提取和snippet选择技术。文章重点介绍了两种核心功能:1) chunk_rescorer可识别长文档中最相关片段供重排序模型评估,显著提升Cohere等模型在MLDR数据集上的NDCG得分;2) ES|QL语言新增CHUNK和TOP_SNIPPETS函数,支持灵活提取文本片段并直接用于LLM上下文或重排序。这些创新解决了长文档处理中的上下文衰减问题,为构建更精准的SearchAI体验提供了新工具。

2026-01-27 07:55:25 772

原创 Elasticsearch:使用 `best_compression` 提升搜索性能

【摘要】本文探讨了Elasticsearch中best_compression功能在搜索性能优化中的意外价值。传统认知将其视为存储优化手段,但实验表明:当数据集超出内存容量时,启用zstd压缩(best_compression)可使索引体积缩减25%,显著降低page faults和I/O瓶颈。在5亿文档的高并发测试中,搜索延迟降低50%至30ms以下,且CPU利用率未增加。这一发现为内存受限场景提供了替代水平扩展的新思路,通过压缩优化缓存利用率来提升性能。研究还指出未来可结合索引排序进一步优化存储效率。

2026-01-24 08:07:32 833 2

原创 使用 Elastic Agent Builder 构建语音 agents

本文介绍了如何使用Elastic Agent Builder和LiveKit构建语音助手。2026年将成为语音助手商业化的重要一年,通过结合低延迟转录、快速LLM和自然语音合成技术,语音助手能够打破传统AI交互的限制。文章详细解析了语音流水线的四个关键组件:语音转文字、轮次检测、LLM处理和文字转语音,并以虚构的户外用品店Elastic Sport为例,展示了如何配置具备业务数据访问能力的语音助手。该方案支持产品查询、订单跟踪和短信发送等功能,可广泛应用于客服、销售预约等多种场景。

2026-01-23 10:45:38 845

原创 Agent Builder,超越聊天框:推出增强型基础设施

摘要:Elastic团队开发了基于ElasticAgentBuilder的增强型基础设施解决方案,突破传统AI代理仅能建议而无法操作的局限。该方案通过分布式runner架构,使代理能够直接管理基础设施,包括部署、监控和修复实时环境。核心创新包括:1)使用Elasticsearch作为中间层处理工具调用;2)开发workflow系统实现异步操作;3)支持跨Kubernetes、云环境等多平台操作。演示场景显示其能自动完成Kubernetes可观测性部署和安全漏洞修复。该技术可扩展至开发、运维等多个领域,标志着

2026-01-23 09:57:28 809

原创 Agent Builder 现已正式发布:在几分钟内发布上下文驱动的 agents

摘要:Elastic正式发布AgentBuilder工具,帮助开发者快速构建基于上下文的AI智能体。该工具整合Elasticsearch的搜索能力和向量数据库功能,支持对话式智能体开发、混合搜索、工作流自动化等核心功能。通过内置工具和API集成,开发者可以快速将企业数据转化为智能体应用,同时保持对数据、模型和安全性的完全控制。AgentBuilder已在基础设施管理、安全分析、客户支持等多个场景成功应用,现已在ElasticCloudServerless中可用,并将随9.3版本正式发布。

2026-01-23 09:04:28 1520 1

原创 Elasticsearch:如何使用 LLM 在摄入数据时提取需要的信息

本文介绍了如何利用LLM(大语言模型)在Elasticsearch的ingest pipeline中实现自动化数据提取。通过创建chat completion端点并定义EXTRACTION_PROMPT变量,系统能够在数据摄入时自动提取结构化信息(如产品类别、特征和使用场景)。文章详细演示了从创建pipeline、模拟测试到实际应用的全过程,最终实现了产品数据的智能结构化处理,为后续的搜索和统计分析提供了便利。这种方法显著提升了数据处理效率,适用于各类需要结构化数据的应用场景。

2026-01-22 22:07:07 646

原创 Elasticsearch:监控 LLM 推理和 Agent Builder 使用 OpenRouter

本文介绍了如何利用OpenRouter的OpenTelemetry广播功能和Elastic APM来监控AgentBuilder及推理流水线中的LLM使用情况。通过OpenRouter统一访问500多个模型,避免了管理多个供应商的复杂性。文章详细展示了构建AI音频产品目录的完整流程:创建AI连接器和推理端点,配置数据摄取流水线,以及建立AgentBuilder智能体。重点阐述了如何设置OpenRouter广播功能,将模型使用数据发送到Elastic进行监控,并创建定制化仪表板来跟踪性能指标、token用量和

2026-01-22 16:09:00 918

原创 Elasticsearch:上下文工程 vs. 提示词工程

本文探讨了提示词工程与上下文工程的关键区别及其在构建AI系统时的协同作用。提示词工程聚焦于优化单次交互的指令表述,解决歧义问题;而上下文工程则管理模型可访问的信息流,处理检索、多轮对话和工具编排等系统级挑战。随着AI系统复杂度提升,两者分工日益明显:提示词工程确保精准提问,上下文工程保障模型获取适量相关信息。文章通过图书推荐案例展示了二者如何配合:良好提示词提供明确需求,有效上下文工程则精准筛选海量数据。生产级AI系统需要同时掌握这两种互补技能,如同Web开发中UI与UX的协作关系。

2026-01-21 09:02:40 816

原创 提升全局操作:掌握使用 Fleet 的 多集群 Elastic 部署

摘要:Elastic Stack针对全球化企业的分布式部署需求,推出了多集群Fleet管理方案,解决了数据主权、性能优化与集中管理的矛盾。通过分离agent数据存储与管理控制平面,实现本地数据路由与全局统一视图。新增的集成同步功能确保安全策略一致性,空间感知和细粒度权限则支持企业级隔离。这些9.1版本的功能使组织能在遵守数据合规的同时,获得集中化运维效率,降低跨区域成本,为全球化部署提供"单一管理界面"。(149字)

2026-01-20 14:38:36 734

05-ES AI Assistant集成 DeepSeek QwQ,搭建智能运维助手 槐新 杭州 20250419与应用场景演示

内容概要:本文详细介绍了如何通过集成DeepSeek/QwQ模型搭建基于Elasticsearch(ES)的智能运维助手,以提升运维效率和问题解决能力。文章首先阐述了大语言模型(LLM)在知识问答场景中的局限性,如幻觉问题、知识受限等,进而引出检索增强生成(RAG)技术的优势,包括实时更新知识库、可解释性和减少幻觉。接着,文章介绍了新一代AI搜索应用——Agentic RAG,它通过引入人工智能代理,实现了多源协同检索、多轮交互和复杂任务处理的能力。此外,文章还展示了Elasticsearch的功能及其与DeepSeek/QwQ的深度集成,具体包括实时状态诊断、动态生成可视化数据看板、智能查询构建等。最后,通过几个实际应用场景的演示,如集群运维、可视化分析和DSL查询生成,展示了该智能运维助手的强大功能。 适合人群:具有运维经验的IT工程师、系统管理员以及对Elasticsearch和AI技术感兴趣的开发者。 使用场景及目标:①通过自然语言指令自动构建精准查询语句,实现查询构建-执行-优化的全流程自动化;②辅助集群运维和索引管理,提供智能建议,降低技术门槛;③进行可视化分析,帮助用户快速理解日志信息,生成相关图表;④支持多模态向量搜索,提升搜索精度和开发体验。 阅读建议:由于本文涉及大量技术细节和实际操作步骤,建议读者在阅读时结合实际案例进行理解和实践,尤其是对Elasticsearch和AI技术的应用有初步了解的读者,可以通过动手实验加深理解。

2025-04-19

ES/Ksibana 双MCP框架下的新一代AiOps实践 Luke 线上 20250521

内容概要:本文介绍了Elasticsearch和Kibana在双MCP框架下实现的新一代AIOps实践。作者Luke Azmat Ablat是AI解决方案架构师,专注于Elasticsearch在AI领域的应用,特别是在低资源语言搜索体验和复杂混合搜索方面的优化。文中强调了MCP(模型上下文协议)的重要性,它由Anthropic提出并被广泛认可,旨在统一AI模型与外部数据源的交互方式。通过MCP协议,Elasticsearch和Kibana能更好地结合LLM能力,实现分钟级别的故障排查和根因分析,极大提升了AIOps效率。具体应用包括实时搜索、可视化管理和智能交互,涵盖从集群状态检查到异常区域深度调查等多个场景。; 适合人群:对AI运维(AIOps)、Elasticsearch和Kibana有研究兴趣或工作需求的技术人员,尤其是从事IT运维、数据管理和AI开发的专业人士。; 使用场景及目标:①利用MCP协议整合Elasticsearch和Kibana,实现高效的自动化根因分析;②通过自然语言交互简化集群管理和数据分析流程;③优化数据洞察,提高故障排查速度,从数小时甚至数天缩短到几分钟。; 其他说明:本文不仅探讨了技术理论,还提供了实战演示,展示了如何在现有环境中部署和使用MCP框架。未来计划包括开源大模型记忆模块和支持中英混合搜索等功能,进一步扩展Elasticsearch的应用范围。

2025-05-22

03-Elasticsearch 数据流转之道 - 从写入到查询的技术探秘 尚雷.南京 20250628

内容概要:本文深入探讨了Elasticsearch的数据流转机制,从写入到查询的全过程进行了技术剖析。首先强调了关注数据流转的重要性,包括性能优化、瓶颈识别、资源配置和成本控制。接着介绍了Elasticsearch如何基于PacificA算法进行改进,以适应互联网级别的数据架构需求。文章详细解析了Elasticsearch的写入和读取流程,包括路由机制、刷新与合并操作,以及不同写入模式的选择。最后通过实际案例展示了性能优化的具体方法,如合理设置副本数量、优化索引大小和管理操作系统缓存。 适合人群:具备一定Elasticsearch使用经验的开发人员和技术管理人员,尤其是对性能优化和架构设计有需求的用户。 使用场景及目标:①理解Elasticsearch内部机制,识别性能瓶颈并进行优化;②掌握写入和查询流程,合理配置系统资源;③通过实际案例学习如何优化索引、副本设置和缓存管理,提高系统稳定性和响应速度。 阅读建议:本文内容较为深入,建议读者结合自身应用场景,重点关注与自身业务相关的性能优化部分,并尝试在实际环境中应用所学知识,进行针对性的调整和测试。

2025-06-28

【AIOps领域】基于M02-双 MCP 赋能ES Luke 南京 20250628CP框架的Elasticsearch与Kibana智能根因分析系统设计:提升企业数据洞察效率和自动化运维能力

内容概要:本文介绍了在双 MCP框架下,Elasticsearch (ES) 和 Kibana 新一代 AIOps 实践的发展和应用。文章首先概述了项目背景,指出尽管 ES 已经在自动化根因分析、动态数据洞察等方面展现了巨大潜力,但其在 AI 领域的应用尚未得到充分挖掘。接着,文章详细解释了 MCP(模型上下文协议)的概念及其重要性,强调它是 AI 助手与外部数据源无缝交互的关键协议,类似于 AI 领域的“USB-C”或“HTTP”协议。MCP 定义了应用程序和 AI 模型间交换上下文信息的标准方式,简化了 AI 应用的开发和集成。文中还展示了如何通过 MCP 实现 ES 和 Kibana 的智能交互,具体包括资源读取、工具调用、提示模板等功能,并通过实际案例演示了利用 LLM 和 MCP 快速处理安全事件的流程。最后,文章展望了未来的发展方向,如开源 ES 的大模型记忆模块和开发专门的 MCP 客户端。 适合人群:对 AIOps、Elasticsearch、Kibana 或 AI 技术感兴趣的 IT 专业人员,特别是那些希望提高数据分析效率、优化系统管理和提升安全性的技术人员。 使用场景及目标:①利用 MCP 实现 ES 和 Kibana 与 LLM 的无缝对接,加速故障排查和根因分析,将工作量从数小时甚至几天缩短至分钟级别;②通过自然语言交互方式,使 AI 能够理解和生成数据洞察,优化数据可视化;③构建高效的数据驱动 AI 解决方案,提升企业在复杂 IT 环境中的问题诊断和优化能力。 其他说明:文章由 AI 解决方案架构师 Luke Azmat Ablat 主讲,他专注于 ES 在 AI 领域的应用,曾主导多个相关项目并推动了 ES/Kibana MCP Server 开源项目的发展。读者可以通过官方 GitHub 获取更多关于 MCP 社区和项目的最新进展。

2025-06-28

Elasticsearch 可搜索快照 - 降本增效的实践与探索 线上 夏乔 20250717

内容概要:本文详细介绍了Elasticsearch可搜索快照技术,旨在解决大规模Elasticsearch集群中历史归档数据带来的高存储成本、低访问效率和大运维压力的问题。文章首先分析了痛点,包括TB级数据积累导致的历史归档数据占比高、存储成本高、访问效率低等问题。接着介绍了现有Hot-Warm-Cold架构结合ILM的局限性,并提出可搜索快照作为改进方案。可搜索快照允许直接在低成本对象存储上的快照数据中进行搜索,无需预先恢复索引,具有降低存储成本、计算与存储分离、可在线访问归档数据和简化运维等优势。文章还详细解释了可搜索快照的工作原理,包括快照创建、挂载、按需加载和缓存机制。 适合人群:Elasticsearch集群管理员、运维工程师、系统架构师和技术决策者。 使用场景及目标:①适用于日志、指标、APM数据的长期归档与分析;②用于合规性与审计;③作为灾难恢复的只读副本;④支持跨集群搜索历史数据;⑤通过计算与存储分离,实现资源独立扩展,降低运维压力。 其他说明:本文不仅介绍了可搜索快照的技术细节,还通过实际案例展示了其在降本增效方面的显著效果。建议读者结合自身集群情况,评估并实施可搜索快照,以优化数据管理和降低总体拥有成本。

2025-07-18

01-AI 驱动 - 搜索的未来 刘晓国 深圳 20250727

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-07-30

02-腾讯云 ES 百亿级 AI Search 优化实践 陈曦 深圳 20250727

分享腾讯云 ES 如何通过文本语义理解、向量空间建模与AI推理能力的三位一体架构,助力 IMA/微信读书/视频号等头部产品实现多模态检索能力。在生成式AI重塑产业格局的当下,我们正推动搜索技术从「信息匹配」向「认知理解」的范式转移,打造业界领先的「搜索即服务」智能基座。

2025-07-30

03-Elastic - Agentic RAG 构建之路 李捷 深圳 20250727

内容概要:本文详细介绍了Elastic-Agentic RAG的构建路径及其优势。RAG(Retrieval-Augmented Generation)是一种结合检索和生成模型的技术,而Agentic RAG进一步增强了这种能力,使其能够处理更复杂的企业级应用场景。文章首先探讨了RAG的局限性,指出传统的RAG主要局限于特定的知识库检索,难以应对多源数据融合、复杂格式处理以及实时数据查询等问题。接着,文章阐述了构建Agentic RAG所需的引擎,强调了其需要具备的进阶能力,如多步推理、动态任务规划、复杂数据处理和跨源协作检索等。此外,文中还展示了Elasticsearch在生成式AI应用中的全面功能,包括创建向量嵌入、混合搜索、灵活选择嵌入模型、过滤和切片等功能,突出了Elasticsearch相较于其他向量数据库的优势。最后,文章通过案例研究,如微信读书的智能阅读实践和敦煌数字藏经阁的RAG问答实践,展示了Elastic-Agentic RAG的实际应用效果,如提高客户和员工满意度、降低风险和总拥有成本等。 适合人群:对企业级AI应用感兴趣的IT专业人士、数据科学家、架构师以及希望了解如何利用AI技术优化业务流程的管理人员。 使用场景及目标:①解决企业内部复杂的数据处理和查询需求,如财务风险报告、生产良品率分析等;②实现多源数据的无缝整合,打破数据孤岛,提高数据利用率;③通过智能化的查询和分析工具,提升业务决策的速度和准确性;④构建高效、安全、可扩展的AI基础设施,支持企业的长期发展。 其他说明:Elastic-Agentic RAG不仅是一个技术解决方案,更是企业数字化转型的重要工具。它帮助企业更好地理解和利用自身

2025-07-30

00-Elastic Pioneer-项目

内容概要:Elastic China Pioneer Program(先锋者计划)是Elastic中国发起的大使招募计划,旨在汇聚生态伙伴、用户及开发者力量,共同推广Elastic搜索技术。该计划明确了Pioneer的使命为传播Elastic技术魅力、分享应用心得,助力Elastic在中国市场的发展。Pioneer可通过发表演讲、撰写文章、录制视频、GitHub代码贡献、提供解决方案等方式获取积分,不同形式的贡献对应不同分值。活动设有严格的审核机制,确保公平公正,参与者可凭作品质量获得相应积分,有广泛影响力的贡献还能得到额外奖励。此外,该计划还设立了月度和年度榜单机制,月度榜单每月评选一次,年度榜单前三名可获直通Elastic ON新加坡站等丰厚奖励,所有奖励均与积分挂钩,鼓励持续贡献。 适合人群:热爱Elastic技术,愿意为其发声的生态伙伴、广大用户及社区开发者。 使用场景及目标:①通过多种方式宣传推广Elastic技术,扩大其在中国市场的影响力;②激励更多人参与到Elastic的技术生态建设中来,推动Elastic技术的发展。 其他说明:活动期间,Elastic官方有权对提交内容进行二次加工、修改、传播,优秀内容将通过官方渠道推广分享。

2025-04-19

04-Higress x Elasticsearch构建更智能的AI网关 程治玮 20250419

介绍 Higress AI 网关在推理服务场景下提供的多模型适配、故障切换、多租户管理、Token 限流与内容安全等核心能力,并深度集成 Elasticsearch 实现语义化缓存、RAG 搜索和可观测等高级功能。

2025-04-19

04-ES日志集群大规模迁移实践-李猛-南京-20250618

内容概要:本文详细介绍了ES(Elasticsearch)日志集群的大规模迁移实践,由Elastic Stack实战专家李猛分享。迁移背景涵盖现有集群架构、日志规模、性能需求及新集群架构特点。针对迁移方案,文中对比了Reindex、Backup&Restore、Logstash/三方工具以及CCR四种方法,最终确定以CCR为主、Reindex为辅的组合策略。迁移实践中,重点讲述了CCR配置、任务脚本编写与执行的具体步骤。同时,针对迁移过程中遇到的新旧集群并行切换、CCR并行与索引限制、旧集群架构限制、迁移时间段限制、超大索引、数据一致性及硬件问题进行了深入剖析。最后,探讨了ES运维工具包(如数据比对脚本、CCR创建+取消工具)的应用。 适合人群:具备一定Elasticsearch使用经验,从事日志管理、运维工作的技术人员。 使用场景及目标:①了解ES日志集群大规模迁移的完整流程与关键步骤;②掌握不同迁移方案的选择依据及其优缺点;③解决迁移过程中可能遇到的技术难题;④提升ES集群运维效率与稳定性。 阅读建议:本文内容详实,技术细节丰富,在阅读时应重点关注迁移方案的选择依据、实际操作步骤以及遇到的问题和解决方案。建议读者结合自身实际情况,参考文中提供的具体案例和技术手段,逐步理解和掌握ES日志集群迁移的相关知识。

2025-06-28

04-Elasticsearch 在日志系统的应用 石樊 深圳 20250727

内容概要:本文详细介绍了富途网络科技有限公司在其日志系统中应用Elasticsearch(ES)的经验,涵盖日志系统的架构、遇到的问题及其解决方案,以及引入ES serverless的原因和效果。富途的日志系统包括SDK、公共组件、Nginx及第三方日志的采集,支持JSON、行采集、分隔符采集等多种格式,确保日志的结构化和字段一致性。针对日志流量波动导致的ES稳定性问题,采用kafka弹性流量、logstash容器自动扩缩容、ES serverless等措施,解决了写入延迟和索引滚动时的短暂写入阻塞。此外,还解决了日志写入时的类型冲突问题,并通过引入ES serverless降低了运维复杂度和成本。未来,富途计划利用ES的文本分类聚合功能,支持日志聚类和AI分析。 适用人群:从事日志系统开发、运维的技术人员,尤其是对Elasticsearch有需求或正在使用的企业IT团队。 使用场景及目标:①解决日志系统中常见的流量波动、类型冲突等问题;②优化日志系统的性能和成本;③探索日志系统的未来发展,如日志聚类和AI分析。 其他说明:本文不仅提供了技术实现的具体方法,还分享了

2025-07-30

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806

内容概要:本文详细介绍了基于Elasticsearch的地理位置检索技术,特别是“搜索附近”的应用场景。文章首先介绍了讲师背景,包括丰富的行业经验和多个知名平台的认证。接着阐述了地理位置检索在实际生活中的多种应用,如地理围栏、社交APP的“附近的人”、疫情追踪、物流追踪等。随后对比了不同技术方案(MySQL/PostgreSQL、Redis GEO、Elasticsearch、MongoDB、PostGIS)在查询性能、扩展性、功能性和适用数据量方面的优劣,强调了Elasticsearch在复杂搜索和地理信息处理上的优势。最后深入讲解了Elasticsearch支持的地理位置检索类型,包括`geo_point`、`geo_shape`和`geo_polygon`,并展示了具体的使用案例和技术细节。 适合人群:具备一定编程基础,尤其是对地理信息系统和Elasticsearch感兴趣的开发人员和技术爱好者。 使用场景及目标:①实现基于地理位置的搜索功能,如“搜索附近的XX”(医院、外卖、学校、商场等);②构建地理围栏,监控用户是否进入特定区域;③进行实时轨迹分析和安全预警;④优化LBS(基于位置的服务)系统的性能和扩展性。 阅读建议:本文不仅提供了Elasticsearch地理位置检索的技术实现方法,还对比了多种技术方案,因此在阅读时应重点关注Elasticsearch的优势及其具体应用场景,并结合实际项目需求选择合适的技术方案。此外,对于地理坐标系统(如WGS84、GCJ-02、BD-09等)的理解也有助于更好地掌握地理位置检索技术。

2025-08-07

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

2025-08-07

【大数据知识库】基于Qwen2.5-14B与Elasticsearch的智能问答系统设计:传统检索与向量检索对比及RAG架构应用

内容概要:本文详细介绍了基于Qwen2.5-14B与Elasticsearch的大数据知识库智能问答系统。首先,文章对比了传统检索和向量检索的特点,指出向量检索在语义理解和复杂查询方面的优势。接着,阐述了RAG(检索增强生成)架构的工作流程及其核心价值,包括提高回答准确性、实时更新知识库、减少生成内容的虚构风险等。最后,重点介绍了基于大模型和Elasticsearch构建的智能问答系统的技术方案和实测效果,展示了其在处理多格式文档、专业术语理解等方面的高效性,并提出了进一步优化的方向,如模型微调、向量化改进和文档切分粒度调整。 适合人群:对大数据处理、自然语言处理和智能问答系统感兴趣的开发人员、数据科学家和技术爱好者。 使用场景及目标:①构建针对非公开文档的高效、精准、自然语言交互式智能知识问答系统;②支持多格式文档的统一处理与检索;③提升企业内部知识管理和信息获取的效率;④应用于客服机器人、知识问答、技术支持、教育与学习等领域。 其他说明:本文不仅介绍了技术原理,还提供了具体的实施步骤和代码示例,如使用FSCrawler进行文档摄取、利用text2vec模型进行向量化等。此外,文章强调了系统在实测中的高效性和准确性,并展望了未来的技术优化方向,鼓励读者结合自身业务场景深入探索和实践。

2025-07-10

01-AI 驱动 - 搜索的未来 刘晓国 南京 20250628

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-06-28

腾讯云 ES AI 搜索优化实践 刘忠奇 线上 20250605

1. RAG 架构的搜索增强实践 2. 自研 v-pack 插件向量增强技术解析 * 存储降本九成:向量裁剪技术 * 准召提升手段:多算法融合排序框架

2025-06-05

03-Elasticsearch跨境电商搜索优化实践 欧阳楚才 杭州 20250419

内容概要:本文由欧阳楚才分享,主要介绍了Elasticsearch在跨境电商搜索优化中的实践。文章首先指出跨境电商搜索面临的问题,如搜索词意图丰富、分词准确性、搜索关键词多义等,随后详细阐述了搜索业务架构,包括意图识别、类目预测、实体识别、同义词扩展、分词处理、尺寸识别、停用词过滤、词干提取等方面的技术细节。接着,文章探讨了搜索召回和排序机制,强调了通过字段加权计算相关性评分和点击率预测CTR模型来优化搜索结果的重要性。最后,还涉及了性能压测、商品属性字段聚合优化以及数据埋点等内容,旨在提升搜索服务的整体性能和用户体验。; 适合人群:从事跨境电商、搜索引擎优化、Elasticsearch技术应用的相关从业人员,尤其是有一定Elasticsearch基础的研发人员和技术管理者。; 使用场景及目标:①理解和解决跨境电商搜索中的常见问题,如搜索词意图识别、多语种分词、关键词多义性等;②掌握通过类目预测、实体识别、同义词扩展等方法提高搜索召回率和准确性的技术手段;③学习如何通过性能压测、数据埋点等手段优化搜索服务的性能和用户体验。; 其他说明:本文提供了丰富的实际案例和技术细节,建议读者结合自身业务场景进行实践,并参考文中提供的具体配置和优化方法,不断调整和改进搜索系统。

2025-04-19

01-AI 驱动 - 搜索的未来 刘晓国 杭州 20250419

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-04-19

02-阿里云Elasticsearch向量引擎百亿级数据优化实践 魏子珺 杭州 20250419

深度解析阿里云 Elasticsearch 向量引擎从8.0到8.x最新版本的技术跃迁,揭秘 Elasticsearch 向量引擎如何处理百亿级向量数据。分享向量引擎与文本搜索、AI 模型的无缝整合方案,探讨如何通过混合检索能力优化 RAG(检索增强生成)、Deep Search 等企业级场景。

2025-04-19

告别中间件繁琐:ES 9.2 Streams 打造 一站式 实时分析平台 - 程地华 线上 20260121

内容概要:本文介绍了Elasticsearch 9.2推出的内置流处理引擎——Streams,该技术实现了数据“入库即计算”的实时分析能力,大幅提升数据处理效率。Streams作为全自动数据加工流水线,能够在数据写入时自动完成清洗、解析与结构化,支持AI驱动的日志智能解析、统一日志流管理、数据质量监控以及精细化的数据保留策略。通过Search AI赋能,Streams可自动识别日志来源并建议字段映射,打破传统Grok规则编写的繁琐流程,实现异构日志的免配置接入。同时,其分级存储机制满足合规审计需求,显著降低存储成本。; 适合人群:具备一定大数据或运维经验的SRE、DevOps工程师、日志平台开发者及系统架构师;关注实时数据分析、日志统一治理的企业技术团队。; 使用场景及目标:①解决微服务架构下多源异构日志(如Nginx、Spark、Hadoop等)的统一接入与自动化解析问题;②在海量日志场景中实现合规驱动的数据分级存储与高效查询;③减轻SRE在多云环境中维护复杂日志管道的负担,提升运维自动化水平; 阅读建议:建议结合文中Demo演示动手实践,重点关注Streams在数据摄入阶段的自动分区、AI解析生成、数据质量检测等功能,深入理解其如何替代传统中间件构建一站式实时分析平台。

2026-01-21

04-搜索范式 - 从排序到过滤的转变 - 王峰 北京 20260110

内容概要:本文探讨了搜索范式从传统排序(ranking)向动态选择(selection)的演进,重点介绍了Jina团队在Elastic框架下开发世界级搜索基础模型的工作。文章详细阐述了重排序模型(reranker)的技术演进,特别是jina-reranker-v3如何通过listwise输入和全局交叉注意力机制实现查询与文档的相关性评估以及文档间的多样性比较,达到当前最优性能。同时提出“足够上下文”的理念,主张通过子模态优化和强化学习方法实现相关性与多样性的平衡,并支持动态确定Top-K数量以适应不同复杂度的查询需求。此外,还展望了多模态重排序的发展方向,在保证强大性能的同时降低模型开销以提升实用性。; 适合人群:从事搜索算法、信息检索、RAG系统优化或大模型应用研发的工程师与研究人员,具备一定机器学习背景的技术人员; 使用场景及目标:①理解现代重排序模型如何超越对比学习,实现更优的上下文构建;②掌握基于序列决策的多样化文档选择机制;③应用于实际RAG系统中提升上下文质量与LLM响应准确性; 阅读建议:此资源聚焦于搜索核心技术的前沿发展,建议结合具体搜索场景进行实验验证,并关注模型效率与效果之间的权衡。

2026-01-11

03-腾讯云ES在搜索场景与AI能力的建设分享-师文博 北京 20260110

内容概要:本文介绍了腾讯云Elasticsearch Service(ES)在搜索场景与AI能力建设方面的技术架构与实践经验。重点阐述了自研云原生日志增强版的存算分离架构,通过Delta(SSD)+Base(COS)混合存储、Segment物理复制与智能缓存机制,实现高可靠、低成本的日志存储与高效检索。针对搜索场景,分享了稳定性保障(跨区容灾、多维告警、智能巡检)、安全性加固(加密、访问控制、网络隔离)以及性能优化策略(Forcemerge管理、索引排序、缓存优化、routing设计等)。同时,详细展示了腾讯云ES在AI能力方面的建设,包括GPU硬件支持、多维监控、向量检索及模型管理等功能,打造一站式AI向量检索平台。; 适合人群:具备一定云计算与搜索技术基础,从事大数据、搜索推荐、日志分析或AI应用开发的工程师及技术决策者,尤其适合工作1-3年以上的研发人员; 使用场景及目标:①了解云原生ES在日志与搜索场景下的架构设计与优化方法;②掌握高可用、高性能搜索系统的建设路径;③探索ES集成AI能力(如向量检索、模型部署)的技术方案; 阅读建议:此资源结合架构解析与实战经验,建议结合自身业务场景对比分析,在实际项目中借鉴其稳定性、性能与AI集成设计思路,并通过压测验证优化效果。

2026-01-11

01-Elasticsearch 向量搜索及 AI Agents - 刘晓国 20260110

内容概要:本文系统介绍了Elasticsearch在向量搜索和AI Agents领域的技术实现与应用,重点涵盖向量搜索的基本原理、语义理解、混合搜索(Hybrid Search)、检索增强生成(RAG)以及Agentic RAG的架构演进。文章详细展示了如何在Elasticsearch中通过稠密向量(Dense Vector)与稀疏向量(Sparse Vector)结合实现高效的语义搜索,并介绍了RRF(倒数排序融合)、Learning to Rank、模型重排序等关键技术。同时,讲解了ELSER、语义文本字段、自动分块、Inference API等特性在RAG中的应用,并展望了基于Elasticsearch构建AI Agent工作流的发展方向。; 适合人群:具备一定搜索技术或大数据开发基础,熟悉Elasticsearch或对AI与搜索融合感兴趣的工程师、架构师及技术决策者;适合从事推荐系统、语义搜索、RAG系统开发的相关技术人员; 使用场景及目标:①构建支持语义理解的智能搜索系统;②实现企业级RAG架构,提升大模型问答准确性;③利用Elasticsearch平台整合向量搜索与传统搜索,打造混合检索方案;④开发基于Agent的自动化信息检索与决策系统; 阅读建议:此资源不仅提供理论讲解,还包含大量实战代码示例与架构图解,建议结合Elasticsearch最新版本动手实践,重点关注模型导入、索引构建、kNN查询、RRF融合与retrievers的使用,深入理解从传统搜索到AI增强搜索的技术演进路径。

2026-01-11

02-MCP 超级大脑:一键干掉传统 RAG 同时接管全链路 AIOps - Luke 北京 20260110

内容概要:本文介绍了MCP(Model Context Protocol,模型上下文协议)作为新一代RAG及全链路AIOps的核心技术,旨在解决传统RAG面临的静态知识库、单层检索和人工编排三大痛点。MCP通过构建AI的“神经系统”,实现AI与实时API、Elasticsearch/Kibana等可观测性平台的直接交互,支持动态调整检索策略和自主决策,使AI从“查资料”升级为“操作系统”。MCP协议定义了Client与Server之间的标准化通信方式,涵盖Resources、Tools和Prompts三类核心功能,推动AI应用向更高效、智能的自动化运维演进。; 适合人群:具备一定AI和系统架构基础知识的技术人员,尤其是从事AIOps、搜索系统、大模型应用开发的相关从业者;适合1-3年经验的研发或解决方案架构师; 使用场景及目标:①替代传统RAG实现动态、实时的知识检索与系统操作;②在AIOps中实现AI对ELK栈的直接控制与数据分析;③构建可扩展的AI工具集成平台,提升企业级AI自动化能力; 阅读建议:此资源侧重于MCP在真实场景中的落地实践,建议结合Elasticsearch、Kibana及Newchat等工具进行实操演练,深入理解MCP如何打通AI与底层系统的全链路交互。

2026-01-11

01-Elasticsearch Mythbusters- 破除迷思,回归工程本质 - 李捷 线上 20260107

内容概要:本文《Elasticsearch Mythbusters: 破除迷思,回归工程本质》系统性地澄清了关于Elasticsearch的四大常见误解——高存储成本、写入查询性能差、存算耦合落后于云时代、向量搜索能力弱。文章指出,这些认知大多基于Elasticsearch早期版本(如5.x/7.x)的局限,而忽略了其在8.x/9.x版本中的重大架构演进,包括LogsDB/MetricDB优化、ES|QL向量化执行引擎、可搜索快照、DiskBBQ向量索引、Serverless模式等技术创新,显著提升了性能、降低了成本。作者强调技术决策应避免“FUD”(恐惧、不确定、怀疑)营销影响,需结合具体场景权衡“空间换时间”与“时间换空间”的工程本质。; 适合人群:从事日志系统、可观测性、搜索推荐或大数据平台建设的架构师、开发与运维工程师,尤其适用于正在评估或使用Elasticsearch及相关技术栈的技术决策者。; 使用场景及目标:①帮助团队理性评估Elasticsearch在现代云原生环境下的适用性,避免因过时信息而误判技术选型;②深入理解Elasticsearch在存储优化、查询性能、向量搜索等方面的最新技术进展,指导架构升级与性能调优;③掌握“空间换时间”等核心工程权衡思想,应用于其他系统设计决策。; 阅读建议:此资源以破除迷思为主线,融合技术演进、性能 benchmark 与工程哲学,建议结合自身业务场景对照阅读,重点关注LogsDB、ES|QL、BBQ等新特性原理与收益,并参考文中的成本对比数据与架构图进行实践验证。

2026-01-08

01-Elasticsearch-KNN详解 - 刘琪 线上 20251218

内容概要:本文详细介绍了Elasticsearch中KNN(K-最近邻)向量搜索的原理、发展历程及其在实际场景中的应用。重点讲解了KNN的基本概念、HNSW(分层可导航小世界)算法的工作机制,以及近似KNN与精确KNN的区别。文章还涵盖了Elasticsearch中KNN的实现方式,包括dense_vector字段类型配置、索引创建、数据写入与查询语法,并通过以图搜图的Demo展示了从模型选型(如ResNet50)、数据预处理到向量检索的完整流程。同时对比了两种KNN搜索方法在准确性、性能和适用场景上的差异,强调了近似KNN在大规模高维数据下的高效性与灵活性。; 适合人群:具备一定Elasticsearch和机器学习基础知识,从事搜索、推荐系统或向量数据库相关工作的研发人员,尤其是工作1-3年的中初级工程师; 使用场景及目标:① 实现基于语义的图像、文本相似性搜索;② 构建推荐系统或FAQ问答系统中的向量检索模块;③ 理解HNSW等近似算法在Elasticsearch中的工程实现与性能调优; 阅读建议:此资源结合理论与实战,建议读者在理解KNN与HNSW原理的基础上,动手搭建实验环境,复现文中索引配置、pipeline构建及查询示例,重点关注num_candidates、k、similarity等参数对召回率与性能的影响。

2025-12-19

03-阿里云AI搜索年度总结和展望 - 张粲宇 西安 20251206

内容概要:本文系统回顾了阿里云AI搜索在2025年度的技术发展与行业趋势,重点阐述了AI搜索从传统信息检索向任务型智能代理(Agentic Search)的演进路径。文章介绍了RAG技术的阶段性发展(Native RAG至Agentic RAG),并深入剖析了AI搜索三大核心要素——数据基建、AI能力与引擎技术的融合创新。通过阿里云Elasticsearch的产品升级与FalconSeek云原生引擎的性能优化,展示了在向量检索、多模态搜索、混合检索等方面的领先能力。结合客户在云文档、日志分析、游戏、电商及智驾等场景的实践案例,验证了AI搜索在降本增效、统一架构与智能化升级方面的显著价值。同时,展望了以大模型和Agent技术驱动的未来搜索形态,提出AI搜索将从被动响应转向主动任务执行,实现复杂问题的多步推理与工具协同。; 适合人群:从事搜索、推荐、大数据与AI平台研发的技术人员,尤其是云计算、企业级服务、智能搜索应用领域的架构师与技术管理者。; 使用场景及目标:①了解AI搜索技术演进脉络及RAG、Agentic Search等前沿方向;②掌握云原生环境下高性能检索引擎的架构设计与优化方法;③借鉴AI搜索在多模态、语义理解、向量检索等场景的落地实践,推动企业智能化升级。; 阅读建议:此资源以技术演进与实际案例相结合,不仅呈现产品能力,更强调底层架构创新与业务场景适配,建议结合自身业务需求重点关注向量检索优化、存算分离架构及AI开放平台集成方案,并参考客户实践进行技术选型与架构设计。

2025-12-06

02-ElasticSearch在专利与教育场景中的语义检索实践 - 王传健 西安1206

内容概要:本文介绍了ElasticSearch在专利与教育两个垂直领域的语义检索实践,重点探讨了如何应对行业特有的数据异质性、语义复杂性和查询多样性挑战。作者分享了从传统BM25检索到混合检索(Hybrid)、多路召回+精排、LLM融合BM25,再到Multi-Agent RAG的技术演进路径,提出了基于意图识别的查询路由机制和精细化的精排服务部署方案,并总结了在数据预处理、索引设计、词典构建与Embedding模型优化方面的实战经验与避坑建议。; 适合人群:具备一定搜索系统或NLP基础,从事搜索推荐、知识库构建、语义检索相关工作的工程师和技术人员,尤其是关注垂直领域AI应用的从业者;; 使用场景及目标:①提升专利检索中的同义词召回率与查全查准平衡;②解决教育场景中题目变体、OCR噪声、多模态输入等复杂问题;③构建高精度垂直领域知识检索系统;④探索LLM与传统检索技术融合落地路径; 阅读建议:本文侧重于工程实践与架构设计,建议结合自身业务场景对比不同技术路线的适用性,重点关注多路召回策略、查询路由设计及模型微调优化方法,并在实际系统中逐步迭代验证。

2025-12-06

01-AI 驱动 - 搜索的未来 - 刘晓国 西安 20251206

内容概要:本文深入探讨了AI驱动下的搜索技术演进,重点介绍了向量搜索的原理及其在Elasticsearch中的实现方式。文章从传统关键词搜索过渡到语义搜索、向量搜索及混合搜索(Hybrid Search),详细讲解了稠密向量与稀疏向量的区别、向量相似度计算方法(如余弦相似度、L2距离等),以及如何利用Elasticsearch进行图像和文本的语义匹配。同时,介绍了检索增强生成(RAG)和Agentic RAG的概念与架构,阐述了如何通过向量数据库结合大语言模型提升回答准确性和上下文相关性,并展示了Elasticsearch在模型管理、自动分块、语义字段处理、重排序(rerank)等方面的能力。此外,还涵盖了硬件加速、量化压缩、并发优化等向量引擎最新进展。; 适合人群:具备一定搜索或大数据

2025-12-06

Elasticsearch 8 四大工程 - 朱杰 20251202

内容概要:本文介绍了Elasticsearch 8的四大核心工程升级,包括全新构建的原生向量引擎、计算引擎ES|QL、云原生Serverless架构,以及面向时序数据(TSDB)和日志数据(LogsDB)的专用数据库优化。重点阐述了Elasticsearch如何通过硬件加速(CPU/GPU)、向量量化、并发优化等技术提升向量检索性能,并介绍ES|QL作为统一搜索与分析语言在语法、函数、性能方面的优势。同时展示了Serverless架构下的存算分离设计、基于对象存储的分片机制与计费模式,以及TSDB和LogsDB在数据压缩、索引优化和存储效率上的显著提升。; 适合人群:具备一定Elasticsearch使用经验的开发者、架构师及运维人员,尤其是关注向量检索、日志与时序数据分析、云原生部署的技术决策者;工作年限在2年以上的技术人员更为适宜; 使用场景及目标:① 构建支持生成式AI的混合搜索系统(文本+向量+稀疏向量);② 实现高性能向量数据库用于语义检索与RAG场景;③ 在大规模日志和指标场景下实现高效存储与查询;④ 探索Serverless化部署以降低运维复杂度并优化成本; 阅读建议:建议结合Elastic官方文档与实际案例进行对照学习,重点关注各新特性在性能测试中的表现及其适用边界,实践中应充分评估硬件支持条件(如GPU)与订阅版本限制(如企业功能)。

2025-12-02

Elasticsearch 新一代查询语言- ES-QL 介绍与实战 -夏乔 - 20251120

内容概要:本文介绍了Elasticsearch推出的新一代查询语言ES|QL,旨在解决现有查询语言(如Query DSL、SQL等)在可读性、性能和功能覆盖上的局限。ES|QL采用管道式声明语法(FROM | WHERE | EVAL | STATS),以表格模型处理数据,支持从搜索到分析再到可视化的全流程统一操作。其拥有独立于Search的查询引擎,通过谓词下推、列裁剪和算子优化提升执行效率,并深度集成于Observability、Security等场景。文章详细讲解了ES|QL的架构原理、执行流程、语法结构及常用命令,并展示了实际应用示例,同时指出其当前的限制与最佳使用建议。; 适合人群:具备Elasticsearch基础的数据分析师、运维人员、安全专家及开发人员,尤其是关注日志分析、指标统计与威胁检测的技术从业者; 使用场景及目标:① 替代复杂嵌套的DSL实现高效的数据过滤、转换与聚合分析;② 在单一语句中完成数据检索、丰富化(enrich/join)、统计计算与结果可视化,提升查询可读性和开发效率;③ 适用于可观测性、安全调查和运营报表等需要快速迭代查询的场景; 阅读建议:学习时应结合Kibana实践ES|QL语法,注意控制查询时间范围、尽早过滤数据并限制返回结果规模,避免全量扫描。同时需明确ES|QL目前不适用于大规模导出或高级搜索功能(如相关性排序、向量检索),应根据场景合理选择Query DSL或ES|QL。

2025-11-20

01-ElasticsearchCCR详解 线上 刘琪 20250820

本次直播,我们将深入浅出,从 Elasticsearch CCR(跨集群复制)功能的底层原理到实际操作,带你全面掌握这一运维利器!无论你是运维新手还是资深专家,都能从中收获实用技巧,轻松应对高可用、高可靠的业务场景! - 深度解析:揭秘 CCR 核心机制,透彻理解数据复制全流程 - 实战演练:从零到精通,现场演示配置与优化技巧 - 场景方案:两地三中心高可用架构的最佳实践 - 互动答疑:直击数据同步与指标汇总痛点,实时解答你的疑问

2025-08-21

01-ES AI Assistant集成 DeepSeek-Qwen3,搭建智能运维助手 - 槐新 线上 20250903

内容概要:本文介绍了如何通过集成DeepSeek和Qwen3大语言模型,基于Elasticsearch构建智能运维助手AI Assistant。重点阐述了Agentic RAG(检索增强生成)技术相较于传统RAG的优势,包括多轮交互、动态决策、多源数据协同和工具调用能力,提升复杂任务处理效率。结合Elasticsearch的向量检索、文本搜索与机器学习能力,AI Assistant可实现自然语言驱动的集群诊断、查询语句生成、可视化分析及运维建议,显著降低技术门槛。文章还提供了从服务开通到Connector配置的完整操作流程,并通过多个场景演示了其在集群运维、日志分析和DSL生成中的实际应用。; 适合人群:具备一定Elasticsearch使用经验的运维工程师、搜索开发人员及对AI智能运维感兴趣的中高级技术人员;熟悉大模型应用与RAG技术的技术决策者或架构师。; 使用场景及目标:①利用自然语言实现Elasticsearch集群状态诊断与优化建议;②自动生成DSL查询语句并解释执行结果;③基于日志和业务数据进行智能分析与可视化图表生成;④提升运维效率,实现异常检测、根因分析与自动化响应。; 阅读建议:建议结合阿里云Elasticsearch 8.15及以上版本实践,按照文档步骤配置Connector并进行交互测试,重点关注Agentic RAG在真实运维场景中的动态规划与多工具协同能力,同时可拓展至安全分析与业务洞察领域。

2025-09-03

01-AI 驱动 - 搜索的未来 刘晓国 成都 20250906

内容概要:本文深入探讨了AI驱动下搜索技术的未来发展,重点介绍了向量搜索的核心原理及其在Elasticsearch中的实现方式。内容涵盖向量搜索的基础知识、语义搜索、混合搜索(Hybrid Search)、检索增强生成(RAG)等关键技术,详细讲解了稠密向量与稀疏向量的处理、嵌入模型的应用、kNN近似最近邻搜索、倒数排序融合(RRF)、学习排序(LTR)以及语义重排序等机制。同时展示了如何利用Elasticsearch实现图像相似性搜索、自动分块的semantic_text字段、多阶段检索器(Retrievers)和端到端RAG系统构建,强调了Elasticsearch在向量数据库能力上的持续优化与硬件加速进展。; 适合人群:具备一定搜索或大数据技术基础,从事搜索系统、推荐系统、AI应用开发的相关技术人员,尤其是对语义搜索、向量检索、RAG架构感兴趣的工程师和架构师;工作年限建议1-5年; 使用场景及目标:①理解向量搜索与传统关键词搜索的融合机制;②掌握在Elasticsearch中实现语义搜索、图像相似性搜索与RAG系统的完整流程;③优化搜索相关性排序,提升生成式AI应用中答案的准确性和上下文相关性; 阅读建议:建议结合Elastic官方文档与演示环境(如eden.elastic.dev)进行实践操作,重点关注模型部署、inference pipeline配置、kNN与RRF检索策略的调优,并深入理解向量索引的存储与性能优化机制。

2025-09-08

腾讯云 ES 百亿级 AI Search 优化实践 - 陈曦 - 20251112

内容概要:本文介绍了腾讯云 Elasticsearch(ES)在百亿级数据规模下的 AI Search 优化实践,重点围绕其自研的高性能混合检索引擎、全链路原子服务及多个标杆案例展开。通过存算分离、堆外内存优化、索引压缩、查询裁剪、CBO 查询计划优化、Multi-path 并行检索、量化裁剪和 GPU 加速推理等核心技术,实现了存储成本降低 50%-80%、查询性能提升 2-10 倍、写入性能提升 1-10 倍、稳定性提升 5 倍以上的显著效果。同时,腾讯云 ES 构建了一站式企业级 AI Search 解决方案,支持文本、向量、多模态混合检索与 RAG 应用,深度融合 NER、Embedding、Rerank 等原子能力,并已在微信读书、IMA 智能工作台、天眼查、敦煌数字藏经洞等多个高要求场景成功落地。; 适合人群:从事搜索、推荐、大数据与 AI 相关工作的中高级研发人员、架构师及技术决策者,尤其适用于需要构建企业级智能检索系统的团队; 使用场景及目标:① 构建高性能、低成本的 AI 搜索系统;② 实现文本与向量混合检索、RAG 问答、智能客服、知识库检索等应用场景;③ 优化现有 ES 集群在大规模、高并发下的性能与稳定性; 阅读建议:本文技术深度较高,建议结合实际业务场景重点关注混合检索优化、GPU 推理加速、全链路原子服务设计等内容,并参考标杆案例进行架构对标与性能调优。

2025-11-12

02-让成本更极致,腾讯云ES serverless一站式日志分析介绍-张小伟 成都 20250906

内容概要:本文介绍了腾讯云ES Serverless一站式日志分析服务的设计理念、产品功能、底层能力及最佳实践。该服务通过存算分离、自动弹性伸缩、完全免运维等核心技术,实现按需使用、按量付费的极致成本控制,支持日志分析、实时搜索、安全分析等场景。平台集成自治索引、智能链路调度和故障自愈能力,提供端到端SLA保障,兼容开源ES API和ELK生态,助力用户快速构建稳定可靠的一站式日志分析系统。; 适合人群:具备一定云计算和日志分析基础,从事运维、开发或架构设计工作1-3年的技术人员;关注成本优化与系统稳定性的企业技术决策者。; 使用场景及目标:①应对业务流量波峰波谷明显的日志场景,实现零运维下的自动弹性伸缩;②简化ELK链路部署,降低自建集群的运维复杂度与资源浪费;③提升查询性能与写入稳定性,满足高并发日志处理需求; 阅读建议:此资源适合结合实际日志分析场景进行对照学习,重点关注Serverless架构如何解决传统ES集群的运维难题,并理解其在成本、性能、易用性之间的平衡设计。

2025-09-08

03-Agentic RAG 构建之路 李捷 成都 20250906

内容概要:本文深入探讨了从传统RAG向Agentic RAG演进的技术路径与核心能力需求,提出Agentic RAG应具备规划、记忆、执行与反思能力,形成类“智能大脑”的架构。文章系统阐述了构建Agentic RAG所需的四大关键能力:全域数据融合能力,实现知识、业务、运营与安全数据的统一对话;深度查询与分析能力,支持统计分析、数据挖掘与复杂查询语言;LLM原生友好设计,提供可被大模型理解的工具集与声明式工作流语言;企业级可靠性与安全性,涵盖端到端可观测性与全面的LLM安全防护。并以Elasticsearch为例,展示了其如何通过Search AI平台整合搜索、分析、向量处理与安全能力,支撑Agentic RAG的构建,实现业务价值提升。; 适合人群:具备一定AI与系统架构知识的企业技术决策者、AI平台开发者、搜索与推荐系统工程师,以及关注RAG技术演进与落地的中高级研发人员。; 使用场景及目标:①指导企业构建具备多步推理、动态规划与跨源协作能力的下一代RAG系统;②评估与选型支持Agentic RAG的底层引擎平台,重点考察数据融合、分析能力、LLM友好性与安全性;③理解Elasticsearch等一体化平台如何整合向量搜索、ES|QL分析、MCP工具调用与可观测性,实现从简单问答到智能决策的跃迁。; 阅读建议:此资源以架构演进和平台能力为核心,建议结合实际业务场景,重点关注四大能力的落地要求与对比分析,理解“一站式AI平台”相较于单点向量数据库的优势,并参考Elastic的技术实现路径进行系统设计与技术选型。

2025-09-08

Elastic Support 概述 - 潘宁,赵守连,李洋 20251028

内容概要:本文介绍了Elastic支持服务的整体架构与核心功能,涵盖全球覆盖、产品专长和优质客户体验三大支柱。重点展示了Elastic AI支持助手的演进路径及其在智能搜索、语义理解和生成式AI方面的应用,同时详细说明了支持门户的功能、案例提交流程及严重性分级机制。通过真实用例演示,深入剖析了ELK多产品环境下数据接入失败与时断时续问题的排查过程,涉及配置兼容性、性能瓶颈、分片策略、ILM设计缺陷等多个技术层面,并给出了系统性的优化方案。; 适合人群:使用Elastic Stack(如Elasticsearch、Kibana、Logstash等)的技术人员、运维工程师、架构师以及企业IT决策者,尤其是面临复杂环境故障排查与性能调优挑战的中高级技术人员;同时也适用于关注AI驱动技术支持发展的技术管理者。; 使用场景及目标:① 学习如何高效利用Elastic支持门户和服务体系解决实际问题;② 掌握常见数据接入异常与性能瓶颈的分析思路与调优方法;③ 了解AI支持助手的工作原理及其在技术支持中的应用场景;④ 提升对DSE(指定支持工程师)服务价值的理解,优化企业级支持资源配置。; 阅读建议:建议结合Elastic官方文档与支持门户实践操作,重点关注故障排查逻辑与性能优化策略,在真实环境中验证文中提出的配置调整与架构改进措施,以增强问题诊断能力与系统稳定性。

2025-10-28

Elasticsearch APM 和 EDOT 的实践与探索

内容概要:本文介绍了Elastic APM与OpenTelemetry(OTel)的基本概念、核心组件及其在可观测性领域的应用,重点阐述了Elastic如何通过原生支持OTLP协议实现与OpenTelemetry的无缝集成,并推出专为其优化的Elastic OpenTelemetry发行版(EDOT)。文章详细说明了APM的核心事件类型(Transaction、Span、Error、Metrics),OpenTelemetry的工作原理与优势,以及EDOT的架构、支持的SDK版本和部署实践。同时展示了如何通过Docker Compose搭建演示环境,实现日志、指标和追踪数据的采集与可视化。; 适合人群:具备一定可观测性基础知识,从事DevOps、SRE、后端开发或系统监控相关工作的技术人员,尤其是正在评估或实施OpenTelemetry与Elastic集成方案的团队。; 使用场景及目标:①理解APM在分布式系统性能监控中的作用;②掌握OpenTelemetry作为标准化遥测数据采集框架的优势;③实现从传统APM向OpenTelemetry的平滑迁移;④利用EDOT构建统一、可扩展的可观测性平台; 阅读建议:建议结合官方文档和演示仓库实际操作部署流程,重点关注EDOTCollector配置、环境变量替换与Elasticsearch集成细节,深入理解数据流路径与语义规范一致性设计。

2025-09-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除