Elastic 中国社区官方博客

本文深入解析了Elasticsearch 8.16.1的向量存储机制，重点探讨了向量索引类型（Flat、HNSW及量化索引）的构成与读写流程。腾讯云ES团队通过对源码的改造优化，在自研v-pack插件中实现了"行存裁剪"和"量化裁剪"两大创新功能，分别可节省70%和90%的存储空间。文章详细对比了不同索引配置下的存储效能变化，并展示了量化技术在保证召回率的同时显著降低内存和磁盘消耗的技术实现。这些优化已贡献给社区并集成于腾讯云ES最新版本，为向量搜索场景提供了更高效的

​Elasticsearch 8.x 引入了强大的向量搜索功能，使得在大规模数据集上进行高效的k近邻（kNN）搜索成为可能。向量搜索在许多应用场景中都非常重要，例如RAG、推荐系统、图像搜索等等。本文旨在深入浅出地剖析 Elasticsearch 8.x 的 kNN 搜索和混合搜索功能，介绍其实现原理和关键技术点。同时，我们还将解读腾讯云 ES 对社区做出的相关贡献，通过源码级别的解读，帮助读者更好地理解和应用 Elasticsearch 的向量搜索功能。

摘要：Elastic宣布在9.0版本中弃用AppSearch和WorkplaceSearch独立产品，但现有用户在8.x版本中仍能继续使用并享有27个月支持期。这两个产品将被整合到Elasticsearch和Kibana的核心功能中，以解决原有架构的局限性，并支持语义搜索和向量搜索等新特性。Elastic推荐用户考虑迁移到Serverless架构的Elasticsearch，该方案提供自动扩展、简单设置等优势。同时，Elastic还增强了数据连接能力、AI驱动的搜索相关性功能，并推出了ES|QL查询语言。

​2025 年 1 月，腾讯云 ES 团队上线了 Elasticsearch 8.16.1 AI 搜索增强版，此发布版本重点提升了向量搜索、混合搜索的能力，为 RAG 类的 AI Search 场景保驾护航。除了紧跟 ES 官方在向量搜索上的大幅优化动作外，腾讯云 ES 还在此版本上默认内置了一个全新的插件 —— v-pack 插件。v-pack 名字里的 "v" 是 vector 的意思，旨在提供更加丰富、强大的向量、混合搜索能力。本文将对该版本 v-pack 插件所包含的功能做大体的介绍。

Elastic全面转向OpenTelemetry作为核心数据采集架构，将其现有Beats和ElasticAgent组件重构为基于OpenTelemetry Collector的标准化方案。通过开发"Beats接收器"实现平滑过渡，保持对现有功能的完全兼容，同时获得开源生态优势。新架构将提升50%的资源效率，支持470+预置集成，并通过Fleet系统实现10万+节点的集中管理。这一战略转变使用户在保持现有工作流的同时，获得厂商中立性、管道控制力和性能优化，标志着Elastic从专有采集器向

本文深入解析了Elasticsearch 8.16.1版本中向量数据的存储与优化机制，重点探讨了向量索引类型（Flat、HNSW）及其对应的文件结构。文章详细介绍了向量数据的读写流程，并对量化技术（标量量化和二进制量化）进行了剖析。腾讯云ES在此基础上提出了两项创新优化：行存裁剪技术可节省70%存储空间，通过禁用向量字段在行存中的冗余存储；量化裁剪技术结合int8_hnsw量化索引进一步优化，可实现高达90%的存储节省。这些优化已集成在腾讯云ES8.16.1版本的v-pack向量增强插件中，有效降低了向量搜

摘要：本文介绍如何将Reducto文档解析技术与Elasticsearch集成，实现高效语义搜索。针对传统OCR处理扫描文档的局限性，Reducto采用视觉语言模型(VLMs)结合OCR的混合方法，保留文档结构和语义信息，显著提升解析准确率。文章演示了从文档解析、嵌入向量生成到语义检索的完整流程，展示了如何利用Elasticsearch的ELSER模型构建生产级搜索应用。这种方案特别适合金融、医疗等需要高准确性的领域，帮助企业释放80%被困在非结构化文档中的知识价值。（149字）

​我们非常高兴地宣布，Elastic 已获得 AWS 教育 ISV 合作伙伴资质。这一重要认证表明，Elastic 作为 Amazon Web Services（AWS）的合作伙伴，具备为教育机构提供高质量解决方案的专业能力，助力提升学生成果，同时保障安全与隐私。获得 AWS 教育 ISV 合作伙伴资质，进一步彰显了 Elastic 在教育领域的卓越性与可靠性。作为官方认可的合作伙伴，Elastic 已被验证可为全球范围内的多种教育组织提供支持，包括 K–12 及高等教育机构，在搜索、生成式 AI、数

本文介绍了提升Elasticsearch数据质量的三个关键技巧：1）数据预处理，包括拆分字符串为数组和预计算字段；2）使用Enrich pipeline和推理pipeline增强数据；3）选择正确的字段类型（如rank_feature用于排名优化）。这些方法通过优化索引结构、丰富数据上下文和合理选择字段类型，能够显著提高搜索性能和查询效率。文章以社交媒体分析为例，展示了如何应用这些技巧处理帖子数据，包括转换标签格式、计算互动指标和语言识别等。这些最佳实践有助于构建更高效、易维护的搜索系统。

本文介绍了如何利用LMStudio和Elasticsearch部署Qwen3大模型，实现本地化AI应用。主要内容包括：1. LMStudio简介及其本地部署开源模型的优势；2. Elasticsearch和Kibana的安装配置；3. Qwen3大模型的下载、部署及本地API接口测试；4. 创建OpenAI兼容连接器，将Qwen3与Elasticsearch集成；5. 使用"爱丽丝梦游仙境"文本构建RAG应用，在Playground中实现中英文问答功能。该方案提供了完整的本地化AI解决方

金融机构正借助RAG（检索增强生成）、向量搜索和Elastic的BBQ（BetterBinaryQuantization）技术提升AI效能。这些技术通过构建强大的数据基础，实现实时精准的金融洞察，同时降低高达95%的内存成本。其中，BBQ技术将向量压缩至1/32，在保持高召回率的前提下搜索速度提升5倍。解决方案整合结构化与非结构化数据，优化风险评估、客户服务等场景，并确保合规透明。该技术组合为金融AI应用提供了可扩展、高性价比的实施路径。

ES|QL的LOOKUPJOIN技术预览版发布，为可观测性分析带来革新。该功能允许在查询时动态关联日志、指标和追踪数据，无需在数据摄取阶段进行反规范化处理，有效降低存储成本并提升分析效率。通过创建特殊查找索引，用户可以灵活关联部署信息、基础设施映射等上下文数据，实现快速根因定位。典型应用场景包括：通过部署上下文分析错误日志、利用JOIN优化存储空间等。该功能与传统的ingest时数据丰富方法形成互补，特别适合动态数据环境。目前已在Elasticsearch 8.18和Serverless中提供技术预览，支持

Elastic Security正式发布两项生成式AI功能：自动导入和攻击发现，推动安全运营进入AI时代。自动导入能在几分钟内构建数据集成，大幅提升效率；攻击发现将警报转化为可操作洞察，提高响应精准度。这两项功能基于Elastic的SearchAI平台和RAG技术，支持多种主流LLM模型，包括Google Gemini、Anthropic Claude和OpenAI GPT-4系列。企业战略研究显示，这些功能可显著优化安全分析流程，如将1018条警报浓缩为8个可操作发现。用户可通过Elastic Cloud

摘要：Elastic AI Assistant结合生成式AI工具，能快速构建自助服务应用实现客户案例分流。通过Kibana界面管理知识库，上传常见问题解答并生成语义搜索索引，在Playground中测试系统提示配置后，可部署至Streamlit应用。该方案让用户自助解决问题，降低客服工单量，同时支持随时更新知识库内容。系统还提供个性化定制选项，为构建可维护的智能客服代理提供了高效解决方案。

本文详细介绍了如何安装并配置MCPServer来连接Elasticsearch数据库，实现通过自然语言对话查询数据。主要内容包括：1）安装Elasticsearch和Kibana；2）获取Elasticsearch API密钥；3）下载并配置MCP服务器；4）使用Claude Desktop应用连接MCP服务器；5）通过实例演示了索引查询、数据统计等操作。该方法实现了智能代理与Elasticsearch数据的交互，展示了从创建索引到复杂查询的完整流程。

《站点可靠性工程(SRE)的核心实践与价值》摘要：随着云计算和分布式系统的普及，传统IT运维面临巨大挑战。Google提出的站点可靠性工程(SRE)通过软件工程方法解决运维问题，平衡系统可靠性与创新。SRE的核心原则包括：拥抱风险、使用错误预算、设定SLO/SLI指标，以及开发自动化工具。关键实践涵盖监控与可观测性(四大黄金信号：延迟、流量、错误、饱和度)、事件管理、容量规划和变更管理。Elastic Observability等工具为SRE提供全栈可观测性解决方案，加速问题解决。SRE已成为现代组织确保系

今天，我们很高兴庆祝 Elastic 和 AWS 签署五年战略合作协议（strategic collaboration agreement - SCA）。我们的合作强调了 Elastic 和 AWS 在你采用生成式 AI 技术过程中，为你带来更高速度和更大灵活性的努力。

摘要：Elastic 8.13版本正式发布了Elastic AI Assistant与Amazon Bedrock的集成功能。本文详细介绍了设置步骤：1)在Elastic Cloud创建Bedrock连接器；2)在AWS启用模型访问权限；3)配置IAM用户凭证；4)添加示例日志数据进行测试。通过向AI助手知识库添加自定义文档（如故障处理手册），可以显著提升AI对特定错误（如502网关错误）的回答质量。该集成将Elastic的可观测性数据与Bedrock的LLM能力结合，使AI回答更具上下文相关性，帮助运维人

恶意浏览器扩展已成为企业安全重大威胁，但多数组织缺乏有效检测手段。Elastic信息安全团队通过整合osquery和Elastic Stack构建了解决方案：1) 利用osquery每6小时扫描所有工作站的浏览器扩展，建立实时清单；2) 通过Elastic SIEM功能创建检测规则，当发现已知恶意扩展时自动告警。该方案克服了多用户配置文件的管理难题，能识别包括旁加载扩展在内的风险项，支持基于威胁情报的动态检测。典型应用场景包括匹配Cyberhaven事件中的46个恶意扩展IOC，有效提升企业对浏览器扩展威胁

​金融服务行业不能仅依赖人工审核。了解统一数据和可解释 AI 如何帮助企业发现风险、降低成本，并领先应对不断变化的监管要求。金融服务机构正被数据淹没。从电子邮件、彭博聊天，到 WhatsApp 消息和通话，审查通信数据以发现员工和第三方可能的不当行为和金融犯罪，已成为 2025 年合规与风控团队必须履行的监管要求。Elastic 的金融服务峰会正面应这一紧迫挑战：如何高效、及时地监控并分析金融服务公司内部庞大而复杂的数字通信网络。

Elastic荣获2025年Google Cloud两项年度合作伙伴奖——“数据管理与AI”和“工具类AI”;合作伙伴。这彰显了双方在AI创新领域的深度合作，特别是将Elastic的向量搜索技术集成到Google Cloud Vertex AI平台，为开发者提供支持生成式AI应用的统一解决方案。合作还拓展至IT运维领域，通过Gemini模型提升安全分析和自动化能力。Elastic提供从数据摄取到应用监控的完整AI生命周期管理，帮助企业构建安全可靠的生成式AI应用。这一成

Elasticsearch推出全新的linear retriever混合搜索组件，解决了传统RRF方法仅关注排名而忽略实际分数的问题。该组件通过计算各查询结果的加权和，并支持MinMax归一化处理，使不同检索器的分数具有可比性。与RRF相比，linear retriever能更精确地反映文档重要性差异，提供更灵活可控的混合搜索体验。该功能已在Elasticsearch Serverless、8.18和9.0版本中提供，用户可通过调整权重参数优化搜索结果。

本文探讨了大型语言模型(LLMs)在金融、医疗、电信等行业的应用场景，以及Elastic的LLM可观测性解决方案如何帮助企业监控模型性能。文章重点介绍了Elastic针对Google VertexAI、Amazon Bedrock、Azure OpenAI等平台的集成功能，这些功能可提供预测延迟、错误率、token使用量等关键指标的实时监控，并通过预置仪表盘和告警机制帮助优化资源分配、确保合规性。通过案例说明，展示了LLM可观测性对提升AI系统可靠性、降低成本及维护用户体验的重要作用。

《AI驱动的SIEM：网络安全新战略》摘要 面对云化趋势和AI网络威胁，传统SIEM已无法应对现代网络安全挑战。本文阐述了选择新一代AI驱动SIEM的关键要素：1）需与业务风险状况和未来需求深度契合；2）通过自动化减轻分析师负担；3）实现跨云/终端/网络的全面威胁可见性；4）集成多层AI分析检测未知威胁；5）支持长期数据存储与实时合规监控。文章强调开放架构、灵活扩展和避免厂商锁定的重要性，建议组织选择能降低MTTD/MTTR、随数据规模弹性扩展的SIEM解决方案。

本文介绍了如何使用Quepid工具协作创建搜索相关性评估列表。首先解释了判断列表(judgement lists)的概念及其在搜索引擎优化中的重要性，然后详细演示了在Quepid中建立评估案例的步骤：1) 连接Elasticsearch数据源；2) 定义评估字段；3) 添加代表性查询集；4) 为每个查询设定信息需求。文章重点说明了如何组织评估团队、设置评分标准，并通过具体案例展示了人工评分员如何基于文档元数据进行相关性打分。最后指出判断列表是持续改进搜索质量的基础，建议结合指标分析和迭代实验来优化搜索体验。

摘要：判断列表（Judgment List）是评估和优化搜索质量的核心工具，通过人工或AI对查询-结果相关性进行评分（二元或分级），为搜索算法改进提供基准。它支持离线测试，结合点击率等隐式反馈和LLM生成的判断，能全面衡量相关性、用户偏好和满意度。Elasticsearch等工具帮助构建高效搜索方案，而Quepid等平台简化了判断列表创建流程。有效使用判断列表可提升搜索准确性、用户满意度，并推动业务增长。（149字）

Elasticsearch团队重构了ES|QL查询语言的自动补全系统，以应对日益复杂的命令结构和用户需求。新系统采用命令专属逻辑代替通用处理，提升了代码隔离性和灵活性。此次重构解决了旧系统在代码复杂性和正交性方面的问题，为支持新功能（如基于聚合的过滤）奠定了基础，最终改善了开发者体验和用户建议质量。团队认为这次投入为ES|QL语言和编辑器的未来发展奠定了坚实基础。

Synthetic_source是Elasticsearch中的一种索引配置模式，用于优化存储空间。它通过不存储原始文档，而是利用doc_values等数据结构在检索时重建_source内容，从而减少磁盘占用。这种模式会修改原始文档结构，如将数组移动到叶子字段，并使用映射中的字段名。虽然能节省50%以上存储空间，但会略微降低查询速度。Synthetic_source支持大多数字段类型，但对某些特殊字段有限制，且不支持快照仓库。该功能适用于磁盘空间有限但能接受轻微性能损失的场景。

本文介绍了如何使用SpringAI和Elasticsearch构建完整的AI应用程序。SpringAI 1.0作为面向Java的AI工程解决方案正式发布，支持多种AI模型和技术。文章重点展示了如何通过Elasticsearch的向量数据库功能实现检索增强生成(RAG)，详细说明了从PDF文件摄取数据到向量存储、查询处理的全流程。示例代码演示了控制器、服务层的实现，并介绍了SpringAI的Advisors简化RAG模式。最后，文章建议通过SpringBoot Actuator监控token消耗，利用虚拟线程

DevOps是一种结合并自动化软件开发（Dev）和IT运维（Ops）的现代方法，旨在通过团队协作和自动化提升软件开发生命周期的效率。它强调从规划、编码到测试、部署和监控的持续反馈循环，促进快速、高质量的软件交付。DevOps实践包括持续集成（CI）、持续交付（CD）、基础设施即代码（IaC）和微服务架构等，通过自动化减少错误并加快发布速度。尽管DevOps带来诸多好处，如提高生产力、缩短上市时间和增强团队协作，其实施也面临文化转变、遗留系统整合和自动化复杂性等挑战。未来，DevOps将融入AI、机器学习、低

可观测性是指通过分析系统的外部输出数据来理解其内部状态的能力，在现代应用开发中尤为重要。它涉及从日志、指标和追踪等多源数据中收集信息，以深入洞察应用程序的行为。可观测性对于动态架构和多云环境至关重要，帮助软件工程师、IT、DevOps和SRE团队解读遥测数据，并通过可视化工具和AIOps等方法实现。其三大支柱是日志、指标和追踪，全栈可观测性能够实时追踪多云生态系统的性能，综合硬件、软件、云基础设施等数据。可观测性不仅提升应用性能、加快问题解决，还能改善终端用户体验和应用程序安全性，对企业的IT运维和业务成果

随着数字架构的复杂性增加，传统的监控方法已无法满足现代企业的需求。业务可观测性作为一种全面的监控与分析手段，能够提供深层次的洞察和主动的问题解决能力。它通过持续监控业务流程、数据流和系统性能，帮助企业优化运营、理解业务影响，并做出数据驱动的决策。业务可观测性不仅关注技术问题，还整合客户和业务数据，提供组织生态系统的全景视图。其实施涉及数据收集、监控、分析和可视化四个关键流程，并面临数据过载、集成复杂性和资源限制等挑战。通过明确目标、建立数据管道、集成监控工具和持续改进，企业可以有效实施业务可观测性，提升运营

在金融服务领域，Agentic AI正成为新的技术前沿，它能够自主执行复杂的多步骤任务，如反欺诈、合规监控和客户服务等。Elastic通过其Search AI平台，为Agentic AI提供了必要的数据基础和工具，包括实时数据检索、工作流自动化和风险管理。Elastic的解决方案如Elasticsearch和LangChain集成，支持智能数据检索和自动化工作流，而Attack Discovery功能则展示了Agentic AI在网络安全中的实际应用。尽管Agentic AI带来了自主性的风险，Elasti

Elastic与RedHat合作，通过集成Elasticsearch的生成式AI和向量搜索能力与RedHat OpenShift AI，推出了一个经过验证的模式，旨在提升金融分析师的工作流程。这一模式支持检索增强生成（RAG）解决方案，可以在本地或IBM Cloud上的加速硬件上运行。Elasticsearch作为核心向量数据库，结合词汇和语义技术，确保传递给大语言模型的文档具有高度相关性和上下文，从而提高生成式AI应用的响应质量、准确性和效率。RedHat OpenShift AI提供企业级的容器编排和D

Elasticsearch向量数据库现已支持基于LLM和RAG的AI生成验证模式，开发者可利用Elastic的向量数据库在RedHat OpenShift上快速启动RAG应用开发。本文详细介绍了如何设置和使用Elasticsearch作为向量数据库，包括安装配置、部署步骤和验证方法。通过结合RedHat容器平台和Elastic的向量搜索能力，开发者可以构建高效的生产级应用程序。未来，Elastic计划进一步优化语义理解、数据处理和混合搜索功能，以提升RAG应用的性能和精准度。欢迎开发者参与反馈和贡献，共同推

Elasticsearch与Microsoft Semantic Kernel合作，在.NET Elasticsearch Semantic Kernel连接器中引入了混合搜索功能，这是首个实现该功能的向量数据库。混合搜索结合了词法搜索和语义搜索，通过并行运行这两种策略，提升搜索结果的相关性和质量。Elasticsearch从8.8.0版本起支持混合搜索，并默认使用RRF（Reciprocal Rank Fusion）算法来合并搜索结果。最新版本的Elasticsearch Semantic Kernel连

Elastic Observability 提供全面的日志聚合、指标分析、APM 和分布式追踪功能，并结合基于机器学习的 AIOps 能力，帮助用户快速定位问题根源。其内置的异常检测和日志分类功能，能够自动识别日志中的异常模式，简化根本原因分析。此外，Elastic 还提供了日志峰值检测器和日志模式分析工具，帮助用户在海量日志数据中快速发现异常和潜在问题。通过这些功能，用户可以显著减少日志分析时间，提高问题排查效率，无需依赖复杂的数据科学团队或第三方框架。Elastic Observability 的 AI

Elastic Observability 提供日志聚合、指标分析、APM 和分布式追踪等功能，其机器学习能力可帮助分析问题根因，提升应用性能、运营效率和业务 KPI。面对海量遥测数据，传统告警和简单模式匹配方法已无法满足需求。Elastic 的 AIOps 和机器学习功能通过异常检测、时间序列分析和日志异常值检测等，精准定位根本原因，缩短分析时间。Elastic 平台内置适用于可观测性和安全场景的机器学习模型，无需数据科学团队或复杂架构，通过向导可配置自定义异常检测和训练模型。内置功能如异常检测、日志分类

Elastic团队为Azure OpenAI集成新增了内容过滤监控和计费见解功能，旨在提升AI安全性和成本管理效率。内容过滤功能通过识别和阻止有害或不适当内容，如仇恨言论和暴力图像，帮助组织维护品牌声誉和用户安全。同时，计费仪表盘提供了对Azure OpenAI使用成本的详细监控，帮助组织优化资源分配和预算管理。用户只需升级现有集成即可自动获得这些新功能，并通过预配置的仪表盘进行实时监控和分析。这些增强功能为基于LLM的应用提供了更全面的可观测性和管理工具。

本文是Elasticsearch in JavaScript系列的第二部分，重点介绍了在生产环境中运行Elasticsearch Node.js客户端的最佳实践，特别是在无服务器环境中的应用。文章首先回顾了生产环境中的关键实践，包括错误处理和测试。通过Elasticsearch的Node.js客户端，开发者可以有效地捕捉和处理各种错误，如ResponseError和TimeoutError，确保应用的稳定性。此外，文章还介绍了如何使用elasticsearch-js-mock库进行测试，确保代码的可靠性。接