Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(12)
  • 资源 (9)
  • 收藏
  • 关注
全部文章> 2020年01月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............

2020-01-06 15:31:54 16479 12

原创 Elasticsearch：Elasticsearch 中的数据强制匹配

在实际的使用中，数据并不总是干净的。 根据产生方式的不同，数字可能会在JSON主体中呈现为真实的JSON数字，例如 5，但也可能呈现为字符串，例如 “5”。 或者，应将应为整数的数字呈现为浮点数，例如 5.0，甚至是“5.0”。coerce尝试清除不匹配的数值以适配字段的数据类型。 例如：字符串将被强制转换为数字，比如"5"转换为整型数值5 浮点将被截断为整数值，比如5.0转换为整型...

2020-01-27 12:08:39 3500

原创 Elasticsearch：如何在搜索时得到精确的总 hits 数

从Elasticsearch 7.0之后，为了提高搜索的性能，在hits字段中返回的文档数有时不是最精确的数值。Elasticsearch限制了最多的数值为10000。当文档的数值大于10000时，返回的total数值为10000，并在relation中指出gte。我们可以做如下的一个实验。启动Kibana:然后选中“Add data”:这样我们就把Sample ...

2020-01-26 14:01:42 8745 4

原创 Elasticsearch：Elasticsearch 中的慢日志

Shard 级慢速搜索日志允许将慢速搜索（查询和获取阶段）记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。 对于像Elasticsearch这样的分布式解决方案，它必须处理大量的请求，因此日志记录不可避免，其重要性至关重要。顾名思义，慢速日志用于记录慢速请求，无论是搜索请求还是索引请求。 我们可以设置“慢”阈值，以便仅记录那些高于该阈值的请求。对于Elasticsearch，慢...

2020-01-20 13:27:11 5620 4

原创 Beats：如何使用 Filebeat 将 MySQL 日志发送到 Elasticsearch

在今天的文章中，我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便，我们的测试系统的配置是这样的：我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里，我同时安装了一个Ubuntu 18.04的虚拟机。在这个Ubunutu机器上，我安装了MySQL及Filebeat。它们的...

2020-01-13 11:59:56 3031

原创 Elasticsearch：如何实现短语建议 - phrase suggester

词组建议者（phrase suggester）是术语建议者（term suggester）的高级版本。 短语建议者使用的功能是选择整个校正后的短语而不是单个单词。 这是基于ngram语言建模的，短语建议者可以基于频率和并发性更好地选择token。在本教程中，我们将向你展示如何使用短语建议者来纠正短语中的拼写，这在Elasticsearch中提供了“你的意思是”的搜索功能。准备数据...

2020-01-13 09:32:30 2759 3

原创 Elasticsearch：如何在 Elasticsearch中 查询相似的术语 （suggest API）

在这篇文章中，我们来讲述Elasticsearch中的suggester。通过使用suggester，根据提供的文本建议外观相似的字词。 建议功能的某些部分仍在开发中。suggester的官方文档在地址https://www.elastic.co/guide/en/elasticsearch/reference/current/search-suggesters.htmlTerm sugges...

2020-01-12 13:33:57 2448 2

原创 Elastic: 把 MQTT 数据传入到 Elasticsearch

Elasticsearch 可以存储PB级的数据并实时分析数据，而MQTT被广泛使用于物联网中。那么我们该如果把MQTT的数据传入到Elasticsearch中呢？我们可以通过如下的架构来把MQTT数据传入到Elasticsearch:在这里，我们可以通过一个叫做MQTT的router来把数据传入到Elasticsearch。这些物联网的数据可以包括温度，速度，位置，速度，湿度，重力加...

2020-01-11 11:20:52 2757

转载 Logstash：如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步

为了充分利用 Elasticsearch 提供的强大搜索功能，很多公司都会在既有关系型数据库的基础上再部署 Elasticsearch。在这种情况下，很可能需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。因此，在本篇博文中，我会演示如何使用 Logstash 来高效地复制数据并将关系型数据库中的更新同步到 Elasticsearch 中。本文中所列出的代码和方法已使用 ...

2020-01-07 15:26:02 4763 7

原创 Elastic：使用 ElastAlert 发送 Slack 通知

ElastAlert是一个简单的框架，用于从Elasticsearch中的数据中发出异常，尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中，我将一步一步地介绍如何搭配环境，并从Elasticsearch发送通知给Slack。为了说明问题的方便，我的环境...

2020-01-03 16:43:49 5167 12

原创 Elasticsearch: 理解 mapping 中的 store 属性

默认情况下，对字段值进行索引以使其可搜索，但不存储它们 (store)。 这意味着可以查询该字段，但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true，那么有一个单独的存储空间为这个字段做存储，而且这个存储是独立于_source的存储的。它具有更快的查询。存储该字段会占用磁盘空间。如果需要从文档中提取（即在脚本中和聚合），它会帮助减少计算...

2020-01-02 21:19:36 5379 10

原创 Elasticsearch: API 响应的一些常用选项

我们可以点击Elasticsearch API以获取所需的响应，但是如果要修改API响应，以便我们更改显示格式或过滤掉某些字段，然后我们可以将这些选项与查询一起应用。 有一些常见的选项可以适用于API，在下面我们来介绍一些常用的选项。准备数据我们首先使用Bulk API来把我们的文档导入到Elasticsearch中：POST _bulk{ "index" : { "_ind...

2020-01-01 15:23:28 1755 1

02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
​1.Elastic 认证专家考试介绍 ​2.考纲介绍 ​3.备战介绍

2024-09-18

01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
​1. ES watcher 知识介绍 ​2. 生产环境 watcher 失效问题排查及分析处理过程

2024-09-18

04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
本次分享将深入解析如何利用 Elastic 技术构建高效、稳定的运维架构。详细介绍 Elastic 在核心业务以及核心场景中的应用案例，探讨运维过程中的关键技术挑战与创新解决方案。以及未来 ES 新特性的应用和落地规划。

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825
1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825
1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
1，为什么需要向量搜索？ 2，向量相似度基本知识 3，使用向量搜索，RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
腾讯云 ES 全新技术栈：采用读写分离、存算分离和查询/IO 并行化等先进技术，广泛应用于日志场景，实现冷热数据一体化搜索及弹性伸缩能力。 2023年助力腾讯云 CLS 节省过亿元成本，助力外部客户如跨越、嘀嗒等，成本普遍降低30%～80%。

2024-07-27

03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-07-27

02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727

腾讯云 ES 不仅提供了相对于传统向量数据库的更全面的 RAG 解决方案，同时在性能方面也有着独特的优势。 腾讯云 ES RAG 方案凭借紫霄 GPU 的强大性能和深度优化的自研内核，大幅提升了文本搜索与向量检索的效率和精度。

2024-07-27

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-07-27

02-B站Elasticsearch平台实践 王星轶 线上 20240619
1.为什么我们需要 Elasticsearch 平台, 在面对公司众多业务线时, 我们为业务接入与迭代效率贡献了什么 2.降低成本&资源隔离, 如何利用 es on k8s 实现业务质量与成本的双重优化 3.站内搜索是如何影响用户体验的, 我们应该怎样去优化检索的召回率与精确率

2024-06-20

01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-06-20

04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
介绍阿里云 Elasticsearch Serverless 架构及其优势，并以淘宝母婴订单数据为例，展示如何快速将数据从数据库实时同步至 ES Serverless 中，并通过 Kibana 展示订单大盘进行运营分析。

2024-05-28

03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
1. ES 插件概念与应用场景 2.ES 插件之常见的业务应用需求。 3.ES 插件探讨

2024-05-28

02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
主要是分享一下主站引擎从 ES6 升级到 ES8 以及 Elasticsearch 同城双活的架构落地经验。主要体现在三个方面： 第一，主要是 ES 集群从 ES6 升级到 ES8 的优化实践；第二，主要是 ES 同城双活架构案例；第三，总结效果。

2024-05-28

01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-05-28

04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
​使用 Elasticsearch 结合 Neo4j 提供的图搜索能力，以处理具有复杂关系的文档数据，增强档案领域内文档检索能力。

2024-04-29

03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-04-29

02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
在当今的软件开发和运维领域，可观测性是构建稳健、可靠系统的关键。特别是在Kubernetes等复杂分布式系统中，有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术，构建一个现代化的可观测性平台，以在Kubernetes环境中实现全面的监控、分析和故障排查能力。

2024-04-29

01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-04-29

05-ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 2024.03.30
1. 安全大数据分析典型场景，面临的挑战 2. ES 在绿盟安全平台的应用情况，优化之路

2024-04-01

04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
1.小米 Elasticsearch 服务现状与用户场景 2.在数据分层、数据压缩、部署架构优化上的成本治理实践 3.基于成本数仓开展的数据治理实践

2024-04-01

03-AI Assistant - 李捷 武汉 2024.03.30
1. Elastic AI 助手概述：定义与功能简介 2.Elastic AI 助手核心使用场景介绍 3.实战演示：Elastic AI 助手提升运维效率

2024-04-01

02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
1. 腾讯云 ES 结合 AI 实现混合搜索实战演练 2. AI 诊断专家的探索 (LLMOps) 3. 腾讯云 ES 8.11.3 版本 AI 能力解读

2024-04-01

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-04-01

04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
围绕阿里云 Elasitcsearch Serverless 在超低成本、秒级弹性扩缩、云上免运维、API 兼容等多个方面，提供全流程使用 Demo 演示，及底层产品和技术架构的实现解读。

2024-01-08

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
介绍用 Elasticsearch8 进行向量搜索开发的详细细节，包括调用 embedding 模型进行向量化，向量搜索 API 使用，最佳实践，语义搜索，混合搜索等等内容。

2024-01-08

03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
关系型数据库中数据表的字段数量超过100个极为少见，在 Elasticsearch 中索引字段数量超过100个已是随处可见，当索引字段数量超过100个、1000个、10000个，Elasticsearch 带来了什么？

2024-01-08

01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能，使用户能够执行各种数据操作，例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作，其中一个操作的输出成为下一个操作的输入，从而实现复杂的数据转换和分析。

2024-01-08

02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
Elasticsearch 在业务上，主要用于一些业务检索场景（商品检索、订单检索等），构建在 ES 搜索引擎之上。在微盟体系中，商品中台 ES 承载了日均亿级别的查询和高频写入。经历过线上的一些性能挑战之后，逐步的沉淀了一些经验和理论。 本主题主要通过以下三个方面，来和大家探讨下 ES 在一些业务场景中的实操： 一、 ES 在商品中台的使用场景&落地沉淀：业务场景、规模介绍，如何高效率地支撑多业务线的检索迭代需求。 二、ES 在业务场景中的使用建议：通过一些建模的方法论，如何在一个业务选型中，进行合适的 ES 建模，业务研发，需要关注哪些场景，该从什么角度去做一些评估和选择，如何有效的设置一些索引。 三、基于业务场景的 ES 性能优化：ES 在业务的调优以及如何做优化，解决潜在问题风险，支持高频次的吞吐和写入查询。 最后呢，通过这些年与 ES 的恩爱情仇，提供一些ES，顶层的一些思考与方法论，一起交流，可以更轻松的使用ES，解决业务问题，提供商业价值。

2023-12-22

01-微盟 Elasticsearch 运维实践
Elasticsearch 作为开源的搜索引擎，在数据检索、大数据、日志分析等领域都有较好的表现。在微盟的生产环境中 ES 被广泛使用。 1、Elasticsearch 使用建议：介绍在使用 Elasticsearch 进行数据搜索和分析时，应该遵循的一些规范和建议，包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等，以提高 Elasticsearch 的性能、可靠性、安全性和可维护性。 2、Elasticsearch 监控体系：介绍如何基于 Prometheus 和 Grafana 搭建一套 Elasticsearch 的监控体系。无侵入兼容自建 ES 与云 ES，实现微盟整个 ES 监控体系的落地。 3、Elasticsearch字段类型推荐：介绍 Elasticsearch 支持的多种字段类型，根据查询场景的特点和需求，选择最合适的类型的原则和建议，包括keyword/text/wildcard/long 类型等，以及分词器、查询方式等相关使用方法的影响和调优。 4、Elasticsearch 日常问题：分享一些在使用 Elasticsearch 过程中遇到的问

2023-12-22

04-腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博-最终版 12.02 2023 Beijing
腾讯云ES在日志和搜索的场景化能力建设-腾讯云师文博

2023-12-03

03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
Vega 或 Vega-Lite二次开发 Kibana 接口可视化

2023-12-03

02-Elasticsearch 索引优化-小红书刘显鹏 12.02 2023 Beijing
Elasticsearch 索引优化

2023-12-03

01-ES-QL for Community - Chinese 12.03 2023 Beijing
详细描述 ES|QL 新的管道语言

2023-12-03

01-Elasticsearch Relevance Engine - meetup 11.16 2023
Elasticsearch Relevance Engine 是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型（LLM）集成的能力。

2023-11-17

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
用 Apache SeaTunnel 以最快的方式，实现从 MySQL 到 ElasticSearch 实时同步，在本次分享中，我们将详细介绍这一解决方案的工作原理、如何配置和部署，以及实际的使用案例。

2023-11-17

04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023

2023-10-23

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023

2023-10-23

02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023

2023-10-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除