Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(14)
  • 资源 (9)
  • 收藏
  • 关注
全部文章> 2019年10月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 04月 03月 02月 01月

原创 Observability：应用程序性能监控/管理(APM)实践

在今天的文章里，我们将介绍Elastic的一个重要的应用：应用程序性能管理（Application Performance Monitoring/Management)，简称APM。那么到底什么是APM呢？随着时代的发展，我们的IT架构越来越复杂，比如：我们系统的服务器越来越多，而且更多的设备都部署在云端。复杂的系统甚至有成千个微服务及架构所组成，那么我们的业务请求可能需要一个或更多的...

2019-10-31 22:04:51 7684 10

转载 Logstash：如何将数据采集到 Elasticsearch 服务

对于数据搜索和分析来说，Elasticsearch 无处不在。开发人员和社区可利用 Elasticsearch 寻找寻找各种各样的用例，从应用程序搜索和网站搜索，到日志、基础架构监测、APM和安全分析，不一而足。虽然现在有针对这些用例的免费解决方案，但是开发人员首先需要将其数据提供给 Elasticsearch。本文将描述几种最常见的将数据采集到 Elasticsearch 服务的方法。这...

2019-10-30 10:02:58 1243

原创 Elasticsearch：用户安全设置

Elastic Stack的组件是不安全的，因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时，这会带来安全风险。 为了防止生产中未经授权的访问，采用了不同的机制来施加安全性，例如在防火墙后运行Elastic Stack并通过反向代理（例如nginx，HAProxy等）进行保护。 Elastic提供商业产品来保护Elastic Stack。 此...

2019-10-29 21:59:14 8509 6

原创 Elasticsearch：significant terms aggregation

在本文中，我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语，这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用：为用户查询标识包含同义词，首字母缩略词等的相关文档。例如，当用户搜索H1N1时，重要术语聚合可能会建议带有“bird flu”的文档。 识别数据中的异常和有趣的事件。例如，...

2019-10-29 15:03:09 2214 2

原创 Elastic：机器学习的原理及实践 - single metric job

在Elasticsearch中，可以将机器学习视为搜索和分析的自然扩展。它是对时间序列数据的分析。 Elasticsearch支持的机器学习功能可以通过运行metric任务来自动分析时间序列数据，该metric任务包含一个或多个定义了将要分析的字段的检测器。 它可以帮助我们识别单变量时间序列数据中的异常，并向我们显示正常情况。在Elasticsearch中，我们可以通过机器学习来检测时间系列中的异...

2019-10-29 11:44:51 6657 1

原创 Elasticsearch：IK 中文分词器

Elasticsearch内置的分词器对中文不友好，只会一个字一个字的分，无法形成词语，比如：POST /_analyze{ "text": "我爱北京天安门", "analyzer": "standard"}如果我们使用的是standard的分词器，那么结果就是：{ "tokens" : [ { "token" : "我", "st.........

2019-10-28 09:21:09 6798 8

原创 Elasticsearch：Index 生命周期管理入门

如果您要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。要在索引的生命周期内自动移动索引，可以创建策略来定义随着索引的老化对索引执行的操作。 索引生命周期策略在与Beats数据发件人一起使用时特别有用，Beats数据发......

2019-10-24 21:35:39 12468 29

原创 Elasticsearch: rollover API

rollover使您可以根据索引大小，文档数或使用期限自动过渡到新索引。 当rollover触发后，将创建新索引，写别名（write alias)将更新为指向新索引，所有后续更新都将写入新索引。对于基于时间的rollover来说，基于大小，文档数或使用期限过渡至新索引是比较适合的。 在任意时间rollover通常会导致许多小的索引，这可能会对性能和资源使用产生负面影响。Rollover历史......

2019-10-21 21:55:59 6598 16

原创 Elasticsearch：inverted index，doc_values 及 source

当我们学习Elasticsearch时，经常会遇到如下的几个概念：Reverted index， doc_values，source？这个几个概念分别指的是什么？有什么用处？如何配置它们？只有我们熟练地掌握了这些概念，我们才可以正确地使用它们。Inverted indexinverted index（倒排索引）是Elasticsearch和任何其他支持全文搜索的系统的核心......

2019-10-19 22:03:51 8337 13

原创 Elastic：如何在一个机器上同时模拟多个节点

在我之前的文章“Elastic：用Docker部署Elastic栈”中，我介绍了如何使用Docker部署的方法在一个电脑中启动多个Docker来实现多个node的部署。在今天的文章中，我将用另外一种方法来模拟多个node的部署。在这种情况下，我们不使用docker。不过过千万要记住：尽管此配置对于开发目的是一个很好的选择，但不应在生产中使用此配置，尤其是在资源有限的情况下(例如，只有一台机器用于开...

2019-10-15 13:34:57 3137 12

原创 Logstash：运用 jdbc_streaming 来丰富我们的数据

在IoT物联网时代，我们经常会遇到从传感器采集数据的情况。这些传感器，可以上传物联网数据，比如温度，湿度。通常这些传感器带有自己的ID，但是它并不具有像地理位置等这样的信息。当物联网数据传到我们的数据平台时，我们希望对采集上来的数据进行数据的丰富，比如我们对物联网的数据加上它所在的位置等信息，这将对我们的数据分析非常有用。这些需要丰富的数据通常会存放于一个关系数据库的表格中，比如MySQL的数据库...

2019-10-10 12:40:22 2915 2

原创 Elastic：Elastic 部署架构介绍

Elastic Stack是一套完整的从数据采集，解析，分析，丰富，到搜索，检索，数据程序等一套完整的软件栈。在具体的实践中，我们应该如何搭建我们的系统呢？下图描述了常用的Elastic Stack的部署架构：该图描述了三种可能的体系结构：将操作指标直接发送到Elasticsearch：如上图所示，你将在要从其发送操作指标/日志的边缘服务器上安装各种类型的Beats，例如Metri...

2019-10-07 14:24:10 1424 2

原创 Elasticsearch：Smart Chinese Analysis plugin

Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中，用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫（Markov）模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入文本分解为句子，然后对句子进行切分以获得单词。 该插件提供了一个称为smartcn分析器的分析器，以...

2019-10-06 16:57:30 2194 1

原创 Elasticsearch：ICU 分词器介绍

ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上，ICU的目的是增加对Unicode和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看，此插件提供了文本分析中的新组件，如下表所示:安装我们可以首先到Elasticsearch的安装目录打入如下的命令：$ pwd...

2019-10-04 23:45:56 3783 2

02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
​1.Elastic 认证专家考试介绍 ​2.考纲介绍 ​3.备战介绍

2024-09-18

01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
​1. ES watcher 知识介绍 ​2. 生产环境 watcher 失效问题排查及分析处理过程

2024-09-18

04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
本次分享将深入解析如何利用 Elastic 技术构建高效、稳定的运维架构。详细介绍 Elastic 在核心业务以及核心场景中的应用案例，探讨运维过程中的关键技术挑战与创新解决方案。以及未来 ES 新特性的应用和落地规划。

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825
1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825
1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
1，为什么需要向量搜索？ 2，向量相似度基本知识 3，使用向量搜索，RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
腾讯云 ES 全新技术栈：采用读写分离、存算分离和查询/IO 并行化等先进技术，广泛应用于日志场景，实现冷热数据一体化搜索及弹性伸缩能力。 2023年助力腾讯云 CLS 节省过亿元成本，助力外部客户如跨越、嘀嗒等，成本普遍降低30%～80%。

2024-07-27

03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-07-27

02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727

腾讯云 ES 不仅提供了相对于传统向量数据库的更全面的 RAG 解决方案，同时在性能方面也有着独特的优势。 腾讯云 ES RAG 方案凭借紫霄 GPU 的强大性能和深度优化的自研内核，大幅提升了文本搜索与向量检索的效率和精度。

2024-07-27

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-07-27

02-B站Elasticsearch平台实践 王星轶 线上 20240619
1.为什么我们需要 Elasticsearch 平台, 在面对公司众多业务线时, 我们为业务接入与迭代效率贡献了什么 2.降低成本&资源隔离, 如何利用 es on k8s 实现业务质量与成本的双重优化 3.站内搜索是如何影响用户体验的, 我们应该怎样去优化检索的召回率与精确率

2024-06-20

01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-06-20

04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
介绍阿里云 Elasticsearch Serverless 架构及其优势，并以淘宝母婴订单数据为例，展示如何快速将数据从数据库实时同步至 ES Serverless 中，并通过 Kibana 展示订单大盘进行运营分析。

2024-05-28

03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
1. ES 插件概念与应用场景 2.ES 插件之常见的业务应用需求。 3.ES 插件探讨

2024-05-28

02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
主要是分享一下主站引擎从 ES6 升级到 ES8 以及 Elasticsearch 同城双活的架构落地经验。主要体现在三个方面： 第一，主要是 ES 集群从 ES6 升级到 ES8 的优化实践；第二，主要是 ES 同城双活架构案例；第三，总结效果。

2024-05-28

01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-05-28

04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
​使用 Elasticsearch 结合 Neo4j 提供的图搜索能力，以处理具有复杂关系的文档数据，增强档案领域内文档检索能力。

2024-04-29

03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-04-29

02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
在当今的软件开发和运维领域，可观测性是构建稳健、可靠系统的关键。特别是在Kubernetes等复杂分布式系统中，有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术，构建一个现代化的可观测性平台，以在Kubernetes环境中实现全面的监控、分析和故障排查能力。

2024-04-29

01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-04-29

05-ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 2024.03.30
1. 安全大数据分析典型场景，面临的挑战 2. ES 在绿盟安全平台的应用情况，优化之路

2024-04-01

04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
1.小米 Elasticsearch 服务现状与用户场景 2.在数据分层、数据压缩、部署架构优化上的成本治理实践 3.基于成本数仓开展的数据治理实践

2024-04-01

03-AI Assistant - 李捷 武汉 2024.03.30
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-04-01

02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
1. 腾讯云 ES 结合 AI 实现混合搜索实战演练 2. AI 诊断专家的探索 (LLMOps) 3. 腾讯云 ES 8.11.3 版本 AI 能力解读

2024-04-01

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-04-01

04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
围绕阿里云 Elasitcsearch Serverless 在超低成本、秒级弹性扩缩、云上免运维、API 兼容等多个方面，提供全流程使用 Demo 演示，及底层产品和技术架构的实现解读。

2024-01-08

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
介绍用 Elasticsearch8 进行向量搜索开发的详细细节，包括调用 embedding 模型进行向量化，向量搜索 API 使用，最佳实践，语义搜索，混合搜索等等内容。

2024-01-08

03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
关系型数据库中数据表的字段数量超过100个极为少见，在 Elasticsearch 中索引字段数量超过100个已是随处可见，当索引字段数量超过100个、1000个、10000个，Elasticsearch 带来了什么？

2024-01-08

01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-01-08

02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
Elasticsearch 在业务上，主要用于一些业务检索场景（商品检索、订单检索等），构建在 ES 搜索引擎之上。在微盟体系中，商品中台 ES 承载了日均亿级别的查询和高频写入。经历过线上的一些性能挑战之后，逐步的沉淀了一些经验和理论。 本主题主要通过以下三个方面，来和大家探讨下 ES 在一些业务场景中的实操： 一、 ES 在商品中台的使用场景&落地沉淀：业务场景、规模介绍，如何高效率地支撑多业务线的检索迭代需求。 二、ES 在业务场景中的使用建议：通过一些建模的方法论，如何在一个业务选型中，进行合适的 ES 建模，业务研发，需要关注哪些场景，该从什么角度去做一些评估和选择，如何有效的设置一些索引。 三、基于业务场景的 ES 性能优化：ES 在业务的调优以及如何做优化，解决潜在问题风险，支持高频次的吞吐和写入查询。 最后呢，通过这些年与 ES 的恩爱情仇，提供一些ES，顶层的一些思考与方法论，一起交流，可以更轻松的使用ES，解决业务问题，提供商业价值。

2023-12-22

01-微盟 Elasticsearch 运维实践
Elasticsearch 作为开源的搜索引擎，在数据检索、大数据、日志分析等领域都有较好的表现。在微盟的生产环境中 ES 被广泛使用。 1、Elasticsearch 使用建议：介绍在使用 Elasticsearch 进行数据搜索和分析时，应该遵循的一些规范和建议，包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等，以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。 2、Elasticsearch 监控体系：介绍如何基于 Prometheus 和 Grafana 搭建一套 Elasticsearch 的监控体系。无侵入兼容自建 ES 与云 ES，实现微盟整个 ES 监控体系的落地。 3、Elasticsearch字段类型推荐：介绍 Elasticsearch 支持的多种字段类型，根据查询场景的特点和需求，选择最合适的类型的原则和建议，包括keyword/text/wildcard/long 类型等，以及分词器、查询方式等相关使用方法的影响和调优。 4、Elasticsearch 日常问题：分享一些在使用 Elasticsearch 过程中遇到的问

2023-12-22

04-腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博-最终版 12.02 2023 Beijing
腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博

2023-12-03

03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
Vega 或 Vega-Lite二次开发 Kibana 接口可视化

2023-12-03

02-Elasticsearch 索引优化-小红书刘显鹏 12.02 2023 Beijing
Elasticsearch 索引优化

2023-12-03

01-ES-QL for Community - Chinese 12.03 2023 Beijing
详细描述 ES|QL 新的管道语言

2023-12-03

01-Elasticsearch Relevance Engine - meetup 11.16 2023
Elasticsearch Relevance Engine 是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型（LLM）集成的能力。

2023-11-17

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
用 Apache SeaTunnel 以最快的方式，实现从 MySQL 到 ElasticSearch 实时同步，在本次分享中，我们将详细介绍这一解决方案的工作原理、如何配置和部署，以及实际的使用案例。

2023-11-17

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

2023-10-23

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

2023-10-23

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

2023-10-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除