- 博客(30)
- 收藏
- 关注
RSS订阅
原创 Elastic：开发者上手指南
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
2020-02-25 20:01:55
153017
96
原创 Logstash： 如何创建可维护和可重用的 Logstash 管道
Logstash是一种开源数据处理管道，它从一个或多个输入中提取事件，对其进行转换，然后将每个事件发送至一个或多个输出。 一些Logstash实现可能具有多行代码，并且可能处理来自多个输入源的事件。 为了使此类实现更具可维护性，我将展示如何通过从模块化组件创建管道来提高代码的可重用性。写这篇文章的动机Logstash通常有必要将通用的处理逻辑子集应用于来自多个输入源的事件。通常通过以...
2020-02-29 10:54:12
1355
3
转载 Elastic 安全 7.6.0 重磅发布
Elastic 安全 7.6 基于 Elastic Endpoint Security 和 Elastic SIEM 的优势构建而成，能通过统一界面实现卓越的可见性和威胁检测性能。此版本能在 SIEM 应用中自动完成集中型威胁检测，并提升 Windows 主机上的端点检测能力。通过 Elastic SIEM 应用程序访问新数据源和进行改进，可以进一步增强安全从业人员的能力，从而加快检测和响应速度。...
2020-02-29 09:46:41
1032
原创 Beats：使用 Elastic Stack 监控 RabbitMQ
RabbitMQ是一个开放源消息代理，创建于2007年以实现AMQP，并且在过去的十二年中，通过不断增加的插件列表，它已包括HTTP，STOMP，SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中，我们将详述如何使用Elastic Stack来监控RabbitMQ。RabbitMQ简介RabbitMQ是消息队列软件，也称为消息代理或队列管理器。 简单地说； 它是定...
2020-02-27 20:23:58
1645
原创 Beats：使用 Elastic Stack 对 Nginx Web 服务器监控
Nginx是一种非常流行的开源Web服务器，为全球数百万个应用程序提供服务。 Nginx仅次于Apache，这得益于它作为Web服务器的流行（它还可以充当反向代理，HTTP缓存和负载平衡器），以其有效地提供静态内容和整体性能的方式。从操作和安全性的角度来看，Nginx处于应用程序体系结构的关键时刻，需要始终进行密切监视。 ElasticStack（Elasticsearch，Logstash...
2020-02-27 11:46:24
2263
原创 Beats：Beats 入门教程 （二）
这篇文章是 “Beats 入门教程 （一）”的续篇。在上一篇文章张，我们主要讲述了Beats的一些理论方面的知识。在这篇文章中，我们将具体展示如何使用Filebeat及Metriceat把数据导入到我们的Elasticsearch并对他们进行分析。安装Elastic Stack对于我们的测试环境，我们可以有几种选择:安装本机的Elastic Stack。你可以参阅我之前的文章“E...
2020-02-24 17:23:55
8430
15
原创 Beats：使用 Elastic Stack 对 Redis 监控
在今天的这篇文章中，我们将介绍如何使用Elastic来进行对Redis log的记录。Redis是一个非常快速的NoSQL数据存储。 尽管它主要用作缓存，但它可以应用于各种形式，例如图形表示和搜索。 客户端库可使用所有主要的编程语言提供，并且所有顶级云服务提供商均将其作为托管服务提供。 在过去的三年中，Redis被Stack Overflow开发人员调查评为最受好评的数据库。尽管Redis...
2020-02-21 13:35:47
2041
原创 Elastic：如何在 AWS 上一步一步地安装 Elastic Stack
Elastic Stack是用于日志聚合和分析的出色开源堆栈。它代表Elasticsearch（NoSQL数据库和搜索服务器），Logstash（日志传送和解析服务）和Kibana（将用户与Elasticsearch数据库连接并为系统操作用户启用可视化和搜索选项的Web界面）。随着庞大的开源社区，Elastic Stack变得非常流行，并且很高兴与之合作。在本文中，我们将指导您完成在AWS或Ama...
2020-02-20 11:17:31
2738
原创 Elastic：使用 Kafka 部署 Elastic Stack
在今天的文章中，我来讲述如何使用Kafka来部署Elastic Stack。下面是我们最常用的一个Elastic Stack的部署方案图。在上面我们可以看出来Beats的数据可以直接传入到Elasticsearch中，但是我们也可以看到另外一条路径，也就是Beats的数据也可以传入到Kafka中，并传入到 Logstash 中，最终导入到Elasticsearch中。那么为什么我们需要这个...
2020-02-18 14:55:40
3524
6
转载 Elastic：Elastic Stack 7.6.0 重磅发布
我们非常兴奋地宣布 Elastic Stack 7.6 正式发布了。此版本借助新推出的 SIEM 检测引擎和与MITRE ATT&CK™ 知识库相相匹配的精选检测规则集，简化了自动威胁检测过程；提升了 Elasticsearch 的性能；通过“采集时推理”功能让用户更轻松地一站式完成监督型Machine Learning；同时还通过推出新的数据整合选项深化了云服务的可观测性和安全性。而...
2020-02-18 08:42:52
1482
原创 Logstash：使用 ELK 堆栈进行 API 分析
通过API提取数据并不是ELK Stack用户最常见的用例之一，但这种情况对于有些案例非常有用。 例如，使用REST API包装其数据库服务的开发人员可能对出于商业智能目的而分析此数据感兴趣。在今天的文章中，我们来讲述如何使用ELK堆栈来对一个Service API来进行分析。无论出于何种原因，ELK Stack都提供了一些简单的方法来与该API集成。 这些方法之一是Logstash HTTP......
2020-02-17 17:51:46
1869
1
转载 Elasticsearch：如何使用 Elasticsearch 6.2 搜索中文、日语和韩语文本 - 第 3 部分：语言检测工具
这是我有关中文、日语和韩语文本搜索的系列文章的第 3 部分。如果您还没有阅读有关分析工具的第 1 部分，您可能希望先阅读这一部分。如果您已阅读完第 1 部分，如何使用 Elasticsearch 6.2 搜索中文、日语和韩语文本 - 第 2 部分：多字段介绍了通过多字段对以多种语言编写的文档进行索引和搜索的方法。然而，如果不管任何语言，我们都将文本存储在四个字段内并使用四种分析工具进行分析，这可能...
2020-02-15 13:04:51
1184
转载 Elasticsearch：如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 2 部分： 多字段
如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 1 部分： 分析工具谈到了搜索以多种语言编写的文档的相关问题以及有关语言分析工具的问题。 现在我们看一下使用单字段对多语言文档进行索引时的相关问题，以及如何使用多字段解决这一问题。 文本节选自https://www.pyeongchang2018.com/en/about-the-games。使用标准分析...
2020-02-15 13:02:04
1045
转载 Elasticsearch：如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 1 部分： 分析工具
共有 92 个国家和地区的代表队参加了去年的平昌冬奥会。 共有 49 个国家和地区的代表队参加了去年的平昌冬季残奥会。 Elastic 的员工遍布全球 34 个国家/地区。 在很多国家/地区内，很多人都会使用自己的母语撰写邮件。 现在，您希望通过韩语关键字“올림픽대회”来搜索一封邮件。https://www.elastic.co/guide/en/elasticsearch/guide/cur...
2020-02-15 12:12:25
1213
原创 Elastic：Elasticsearch 的分片管理策略
在本教程中，我们介绍了一些与Elasticsearch中的分片管理相关的常见问题，其解决方案以及一些最佳实践。 在某些用例中，我们结合了特殊的技巧来完成任务。将Shard从一个节点移动到另一个节点当处理任何大小的集群时，这是最常见的用例之一。 一个典型的场景是，如果在一个节点上共存了太多分片，它们将全部用于查询或索引。这种情况表示节点/群集健康的潜在风险。 因此，将分片从一个节点...
2020-02-13 17:27:38
3555
1
原创 Elastic：使用 Grafana 监视 Elasticsearch
在本教程中，我们将通过导入现有社区仪表板以及其他自定义项，使用Grafana监视Elasticsearch集群。安装Grafana在Mac OS上安装我们可以按照链接https://grafana.com/docs/grafana/latest/installation/mac/来安装Grafana。简单地说：brew updatebrew install graf...
2020-02-13 12:10:38
5605
2
原创 Logstash：input plugin 介绍
Logstash附带了许多input，codec，filter和output插件，可用于从各种应用程序，服务器和网络通道中检索，转换，过滤和发送日志和事件。如果大家对Logstash还没有初步的了解，请参阅我之前的文章：如何安装Elastic栈中的Logstash Logstash：Data转换，分析，提取，丰富及核心操作在本文中，我们将继续探索Logstash输入插件的丰富世界，重点关注...
2020-02-11 19:08:18
3537
2
原创 Elasticsearch：language ingest processor
当我们把我们的文档导入到Elasticsearch中，有时我们希望知道所输入的语言是什么？我们甚至可以针对不同的语言来做不同的处理。那么我们有什么方法呢？Elastic的Alexander Reelsen，也就是我的同事，写了一个叫做Langdetect Ingest Plugin。这个plugin可以帮我们来检查所输入文字的语言。在今天的这篇文章中，我来介绍如何使用这个plugin。...
2020-02-10 19:58:40
1123
原创 Elasticsearch：在 Elasticsearch 中的 join 数据类型父子关系
在关系数据库中，子表使用外键引用父表，这种关系称为join。 设计通常涉及规范化数据。ElasticSearch不是关系数据库，它全与搜索效率而不是存储效率有关。 存储的数据已被去规范化并且几乎是平坦的。 这意味着join不能跨索引，Elasticsearch的重点在于速度，而传统join的运行速度太慢。 因此，子文档和父文档都必须位于相同的索引和相同的分片中。父-子关系例子让...
2020-02-09 17:26:23
5584
原创 Elasticsearch：Painless scripting 高级编程
在之前的文章中，我介绍了Painless 脚本编程，并提供了有关其语法和用法的详细信息。 它还涵盖了一些最佳实践，例如，为什么使用参数，何时访问文档字段时何时使用“doc”值而不是“ _source”以及如何动态创建字段等。之前的文章：Elasticsearch：Painless scripting Elasticsearch: Painless script编程在本文中，我们将探讨 ...
2020-02-08 14:05:52
4293
原创 Elasticsearch：Painless scripting
Painless使用类似于Groovy的Java样式语法。实际上，大多数Painless脚本也是有效的Groovy，而简单的Groovy脚本通常是有效的Painless脚本。 （本规范假定您至少对Java和相关语言有一定的了解。）Painless本质上是Java的子集，具有一些其他脚本语言功能，使脚本更易于编写。但是，有一些重要的差异，尤其是在铸造模型上。使用ANTLR4和ASM库来解析和编译...
2020-02-07 13:49:55
3119
1
原创 Logstash：使用 Logstash 将电子邮件导入到 Elasticsearch
有没有一种简单的方法可以将电子邮件索引到Elasticsearch？ Logstash是答案。 Logstash是一个开放源代码的服务器端数据处理管道，它同时从多个源中提取数据，进行转换，然后将其发送到您喜欢的“存储(stash)”中。 在这里，“存储(stash)”是指诸如Elasticsearch，PagerDuty，电子邮件，Nagios，Jira等产品。Logstash事件处理管道包括...
2020-02-06 21:09:19
2615
原创 Elasticsearch：Elasticsearch HQ 介绍
ElasticSearch HQ（http://www.elastichq.org）是一个监视和管理应用程序，它同时管理实例和集群。 这是一个开源解决方案，对于私人和商业用途都是免费的。它的官方文档网址为http://docs.elastichq.org/。这个应用是一个python的项目。按照它的Get Started官方文档，我们可以看到它必须运行在：Python 3.4+ Elas...
2020-02-05 19:34:01
3908
原创 Elasticsearch： Cerebro 用户界面介绍
Cerebro是以前的Elasticsearch插件Elasticsearch Kopf的演变(https://github.com/lmenezes/elasticsearch- kopf)–这不适用于Elasticsearch版本5.x或更高版本，这是由于删除了site plugins。Cerebro是查看分片分配和最有用的界面之一通过图形界面执行常见的索引操作。 完全开放源，并且它允许...
2020-02-05 15:23:10
3615
原创 Elasticsearch：如何对 PDF 文件进行搜索
Elasticsearch通常用于为字符串，数字，日期等类型的数据建立索引。但是，如果要直接为.pdf或.doc等文件建立索引并使其可搜索该怎么办？在HCM，ERP和电子商务等应用程序中有这种实时用例的需求。在今天的这篇文章中我们来讲一下如何实现对.pdf或.doc文件的搜索。本解决方案使用于Elasticsearch 5.0以后的版本。实现原理我们采用如下的方法来实现把一个.p...
2020-02-04 17:11:25
6895
15
转载 Elastic Cloud on Kubernetes (ECK) 1.0 现已正式发布
今天，我们非常自豪地宣布，Elastic Cloud on Kubernetes (ECK) 公测版的测试工作已经结束，现在正式发布！使用 ECK，用户现在可以在 Kubernetes 上无缝部署、管理和操作 Elastic Stack。请访问我们的 ECK 产品页了解详情，或下载 ECK 开始使用。早在 2019 年 5 月，我们发布了 ECK 的 alpha 版，我们的愿景是，通过 ECK...
2020-02-03 09:33:28
1404
原创 Elasticsearch：运用 shard_size 来提高 term aggregation 的精度
请求的大小（size）越大，结果将越准确，但计算最终结果的成本也将越高（这两者都是由于在分片级别上管理的优先级队列更大，并且节点和客户端之间的数据传输也更大）。shard_size参数可用于最大程度地减少请求的大小带来的额外工作。 定义后，它将确定协调节点将从每个分片请求多少个术语。 一旦所有分片都做出响应，协调节点便会将它们缩减为最终结果，该最终结果将基于size参数-这样一来，可以提高返回...
2020-02-02 09:32:05
5394
2
原创 Elasticsearch：正确使用 regexp 搜索
Regular Expressions搜索也即正则搜索是非常耗时的。正则表达式是一种使用placeholder（称为运算符）匹配数据中的模式的方法。 有关regexp查询支持的运算符的列表，请参阅Regular expression syntax。在今天的文章中，我们来简单介绍如何正确使用regexp搜索。我们首先创建一个my_example的索引：PUT my_example/...
2020-02-01 17:54:33
7725
10
原创 Elasticsearch：分布式计分
Elasticsearch提供了一个最重要的功能就是相关性。它可以帮我们按照我们搜索的条件进行相关性计算。每个文档有一个叫做_score的分数。在默认没有sort的情况下，返回的文档时按照分数的大小从大到小进行排列的。这个分数的计算是按照如下的三个条件来进行计算的:1) Term Frequency (TF)：给定术语在某个文档中的使用频率。在一个字段中该术语出现的越多，这个术语越重要。......
2020-02-01 14:37:18
3364
8
02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
2024-09-18
01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
2024-09-18
04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
2024-08-25
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
2024-08-25
04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
2024-07-27
03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
2024-07-27
02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727
2024-07-27
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
2024-07-27
02-B站Elasticsearch平台实践 王星轶 线上 20240619
2024-06-20
01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
2024-06-20
04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
2024-05-28
03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
2024-05-28
02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
2024-05-28
01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
2024-05-28
04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
2024-04-29
03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
2024-04-29
02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
2024-04-29
01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
2024-04-29
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人