Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(1182)
  • 收藏
  • 关注

原创 Observability:从零开始创建 Java 微服务并监控它 (一)

在本教程中,你将学习如何使用 Elastic 可观察性监控 Java 应用程序:日志、基础设施指标、APM 和正常运行时间。在下面的展示中,我将使用最新的 Elastic Stack 8.5.2 来进行展示。

2022-11-30 22:11:45 652

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 17989 14

原创 Elastic:开发者上手指南

您们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................

2020-02-25 20:01:55 100553 78

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 12794 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 111821 25

原创 Observability:从零开始创建 Java 微服务并监控它 (二)

这篇文章是继上一篇文章 “)” 的续篇。在上一篇文章中,我们讲述了如何创建一个 Java web 应用,并使用 Filebeat 来收集应用所生成的日志。在今天的文章中,我来详述如何收集应用的指标,使用 APM 来监控应用并监督 web 服务的在线情况。

2022-12-01 21:51:24 411

翻译 Elasticsearch:如何将 Strava 数据导入 Elastic Stack

我们现在在 Elasticsearch 中有我们的活动数据。这很棒,因为它允许我们做比你在 Strava 中做的更多的可视化和向下钻取。另外,如您所见,上手超级容易!借助一点 Kibana 的魔力,这个仪表板显示了我去年几个月的痛苦分数(suffer score)、我最喜欢的运动是什么以及我每周进行了多少活动。这不是很棒吗?

2022-11-30 09:24:48 38

原创 Elasticsearch:构建地图以按国家或地区比较指标

标如果你不熟悉 Elastic 地图,本教程是一个不错的起点。它会指导你完成处理位置数据的常见步骤。完成本教程后,你将拥有一个如下所示的地图:在本教程的演示中,我将使用 Elastic Stac 8.5.2 来进行展示。

2022-11-28 14:28:41 497

原创 Elasticsearch:使用反向地理编码在地图上显示自定义区域统计数据

在实际的许多应用中,我们可能并不一定按照行政区来进行划分区域,比如我们常说江浙一代,我们可以理解江苏和浙江这两个省合在一起,而不是把它们分开。我们有时也说长江三角区,它可能是跨几个省市的一个区域,而不是单纯的一个行政区。又或者,我们常说中原城市群这样的一个概念,它其实是指的在中原的一些城市一起加起来的一个区域。那么我们该如何对这些区域进行统计呢?Elastic 地图应用带有预定义的区域,使你可以按指标快速可视化区域。比如你可以显示每个省,市,区的统计数据。

2022-11-24 12:21:53 587

原创 Kibana:摄入 GeoJSON 数据

GeoJSON 是一种用于编码各种地理数据结构的格式。GeoJSON 支持以下几何类型:Point、LineString、Polygon、MultiPoint、MultiLineString 和 MultiPolygon。具有附加属性的几何对象是特征对象。特征集包含在 FeatureCollection 对象中。GeoJSON 可以用于 Elastic Maps 应用中。在本教程中,你将构建一个自定义地图,显示两个机场之间的飞行路径,以及该路线上的闪电热点。

2022-11-23 10:12:43 206

翻译 以非设计师身份设计直观的 Kibana 仪表板

开发人员、SRE 工程师和才华横溢的技术人员通常需要构建快速仪表板来展示有关其应用程序状态的重要信息,供不同的受众使用。如果你不是前端开发人员或设计师,构建直观的仪表板会让所有人感到为难,这些仪表板所有人都可以理解和使用,而不会被信息超载。尤其是如果你觉得自己不具备同事的艺术设计天赋,你可能会觉得自己缺少他们头脑中隐含的那套关键规则。

2022-11-23 08:52:05 80

原创 Elasticsearch:Data streams(三)

这是一个系列文章的第三篇文章。在今天的文章中,我将详述如何修改 data strram 的 mappings 以及它的设置。每个数据流都有一个匹配的。此模板中的映射和索引设置应用于为流创建的新后备索引。这包括流的第一个后备索引,它是在创建流时自动生成的。在创建数据流之前,我们建议你仔细考虑要在此模板中包含哪些映射(mappings)和设置(settings)。:如果你的更改包括对现有字段映射或的修改,则通常需要重建索引以将更改应用到数据流的后备索引。

2022-11-22 10:23:41 407

原创 Elastic:总结收集日志的几种方法

到目前为止,我们看到有很多中不同的方法来收集日志。甚至,我们针对同样的一个日志,有好多种方法来进行采集。在今天的这篇文章中,我来简单里回顾一下。

2022-11-21 11:29:18 1681

原创 Elasticsearch:Data streams(二)

数据流让你可以跨多个索引存储仅追加(append-only)的时间序列数据,同时为你提供一个用于请求的命名资源。 数据流非常适合日志、事件、指标和其他持续生成的数据。你可以将索引和搜索请求直接提交到数据流。 流自动将请求路由到存储流数据的后备(backing indices)索引。 你可以使用索引生命周期管理 (ILM) 来自动管理这些后备索引。 例如,你可以使用 ILM 自动将较旧的支持索引移动到更便宜的硬件并删除不需要的索引。 随着数据的增长,ILM 可以帮助您降低成本和开销。

2022-11-18 13:06:08 186

转载 使用 Elastic 8.5 版构建强大的搜索体验,缩短实现可观测性的时间,并简化安全工作流

2022年11月1日今天,我们很高兴宣布,全球领先的搜索驱动型解决方案平台的最新版 Elastic 8.5 正式全面上线。Elastic 8.5 版为 Elastic Search Platform 及其三个内置解决方案(Elastic 企业搜索、Elastic 可观测性和 Elastic 安全)引入了一系列新功能。

2022-11-18 11:15:36 196

原创 Elasticsearch:Data streams(一)

数据流让你可以跨多个索引存储仅追加(append-only)的时间序列数据,同时为你提供一个用于请求的命名资源。数据流非常适合日志、事件、指标和其他持续生成的数据。你可以将索引和搜索请求直接提交到数据流。流自动将请求路由到存储流数据的后备(backing indices)索引。你可以使用索引生命周期管理 (ILM) 来自动管理这些后备索引。例如,你可以使用 ILM 自动将较旧的支持索引移动到更便宜的硬件并删除不需要的索引。随着数据的增长,ILM 可以帮助您降低成本和开销。

2022-11-17 15:33:55 385

原创 Elasticsearch:使用 docker compose 来实现热温冷架构的 Elasticsearch 集群

在我们的许多练习中,我需要模拟索引生命管理周期的环境。在这样的集群中,我们需要模拟出热(hot),温(warm)及冷(cold)的架构。那么我们该如何进行模拟呢?我们参考之前的文章 “”。我们使用 docker compose 来进行部署。首先,我们按照如下的步骤来进行修改。

2022-11-17 08:01:59 176 4

原创 Elasticsearch:将关系数据库中的数据提取到 Elasticsearch 集群中

本指南介绍了如何使用 Logstash JDBC 输入插件通过 Logstash 将关系数据库中的数据提取到 Elasticsearch 集群中。它演示了如何使用 Logstash 高效地复制记录并从关系数据库接收更新,然后将它们发送到 Elasticsearch 中。此处提供的代码和方法已经过 MySQL 测试。他们应该也适用于其他关系数据库。Logstash Java 数据库连接 (JDBC) 输入插件使你能够从许多流行的关系数据库(包括 MySQL 和 Postgres)中提取数据。

2022-11-15 17:32:20 1159 9

原创 Using LDAP to authenticate users

Credentials are needed to access Elasticsearch clusters if security is set. Credentials can be standard user/passwords stored inside Elasticsearch, or more complex solutions such as Active Directory and Lightweight Directory Access Protocol (LDAP)

2022-11-15 11:04:32 389

原创 Elasticsearch:使用 Filebeat 从 Node.js Web 应用程序提取日志

本指南演示了如何从 Node.js Web 应用程序中提取日志并将它们安全地传送到 Elasticsearch Service 部署中。你将设置 Filebeat 来监控具有标准格式字段的 JSON 结构化日志文件,然后你将在向 Node.js 服务器发出请求时查看 Kibana 中日志事件的实时可视化。虽然此示例使用了 Node.js,但这种监视日志输出的方法适用于许多客户端类型。检查可用。在如下的演示中,我将使用最新的 Elastic Stack 8.5.0 来进行展示。

2022-11-14 12:50:08 460

转载 Elastic RUM(真实用户监测)浅谈

Elastic真实用户监测(RUM) 可捕获用户与 Web 浏览器的交互,并能够从性能角度让您详细了解 Web 应用程序的“真实用户体验”。Elastic RUM 代理是JavaScript 代理,这意味着它支持任何基于 JavaScript 的应用程序。RUM 可对您的应用程序提供有价值的见解。RUM 性能数据可帮助您确定瓶颈,并发现站点性能问题如何影响访问者的体验通过 RUM 捕获的用户代理信息,您可以确定客户最常用的浏览器、设备和平台,以便能够明智地对您的应用程序进行优化。

2022-11-10 15:41:42 166

原创 Security:在 SIEM 上运用 Elastic Security

Elastic Security 将 Elastic SIEM(其检测引擎可自动检测威胁,以便快速调查和响应威胁)与 Endpoint Security 结合到一个解决方案中,从而统一整个网络的预防、检测和响应。本教程将引导你设置集成,以便你可以从主机收集数据。首先,你将网络数据包捕获集成添加到代理策略,然后你将在主机上部署 Elastic Agent 以收集网络数据包捕获数据。Elastic 的集成不仅提供了一种添加新数据源的简单方法,

2022-11-09 15:00:34 310

原创 Security:使用来自 Elastic Security 的端点威胁情报保护主机

超越阻止恶意软件、勒索软件和高级威胁。 在整个生态系统中统一检测、预防和响应。本指南将引导你完成一个简单的端点管理方案,以便你了解在 Kibana 中创建 Elasticsearch 集群、添加数据和分析结果的基础知识。 首先,你可以在 Elastic Cloud 中创建部署或自己搭建集群,其中大部分配置会自动发生。 只需几个步骤,你将了解如何实施威胁情报来保护端点并将安全信息直接输入 Elastic Stack 以供查看和监控。

2022-11-08 14:57:30 848 1

翻译 Elastic Enterprise Search 8.5:用于直观搜索体验的机器学习

最新版本的 Elastic Enterprise Search 引入了一套新特性和功能,用于为你的任务关键型应用程序、网站、在线商店或介于两者之间的任何使用案例构建世界一流的搜索体验。在此版本中,为你的电子商务零售网站构建搜索体验、增强员工访问相关 HR 文档的能力,或构建自定义应用程序以快速得出分析见解,都可以利用你选择的训练模型所拥有的强大功能。

2022-11-03 11:47:12 450

原创 Elasticsearch:通过热、温、冷和冻结层管理数据自动化 — 无需编码!

如果你想完全按照本文标题的建议去做,那就别无所求。 这篇文章旨在指导如何使用 Kibana Dashboard 的 “堆栈管理(Stack Management)” 功能集通过热、温、冷和冻结层自动移动数据,而无需进行任何编码或执行命令行动作。

2022-11-01 17:17:21 590

原创 Elasticsearch:Bucket script 聚合

Bucket script 聚合是一个父管道(parent pipeline)聚合,它执行一个脚本,该脚本可以对父多桶聚合中的指定指标执行每个桶的计算。 指定的指标必须是数字,并且脚本必须返回一个数值。有关 pipeline 聚合的内容,你可以阅读文章 “Elasticsearch:pipeline aggregation 介绍”。

2022-10-31 10:18:00 1073 5

原创 Elasticsearch:Top metrics 聚合

聚合从文档中选择具有最大或最小 “排序” 值的指标。s 字段的最多值为 3,而它对应的 m 值为 2.718280076980591。top_metrics 在本质上与非常相似,但由于它受到更多限制,它能够使用更少的内存来完成它的工作,并且通常更快。

2022-10-28 17:05:42 1522 2

原创 Elasticsearch:transform 例子

此示例使用 Web 日志示例数据集从 IP 地址查找最后一个日志。让我们在连续模式下使用latest类型的变换。它将每个唯一键的最新文档从源索引复制到目标索引,并在新数据进入源索引时更新目标索引。选择 clientip 字段作为唯一键;数据按此字段分组。选择时间戳作为按时间顺序对数据进行排序的日期字段。对于连续模式,指定用于标识新文档的日期字段,以及检查源索引更改的时间间隔。此转换创建包含每个客户端 IP 的最新登录日期的目标索引。当转换以连续模式运行时,目标索引将更新为进入源索引的新数据。

2022-10-28 13:32:19 396

翻译 Kibana:在 Kibana 中 discover 的演变

引入新的增强型数据表、字段统计和警报规则创建。Discover 已经存在了很长一段时间。尽管如此,它仍然是 Kibana 最常用的部分之一,允许你搜索和查看 Elasticsearch 的索引文档。2015 年,它作为 Kibana 4 的一部分发布。让我们来看看数据发现的早期阶段:在 5.6 中,添加了允许用户查看所选文档的周围文档的最后一项重大更改(当时它是一个单独的插件)。

2022-10-27 12:59:53 418

原创 在 Elasticsearch 中查找所需安全权限的简单方法

在 Elasticsearch 中很难找到严格安全所需的权限。在本博客中,我将通过两个示例概述我用来查找所需权限的过程。

2022-10-26 12:12:05 1341

原创 Elasticsearch:Usage API

我们可以通过这个 API 提供有关已安装 X-Pack 功能的使用信息。

2022-10-24 14:13:02 702

原创 Elasticsearch:如何部署 Elasticsearch 来满足自己的要求

我们涉及到一些分片管理,内存管理已经分片策略的一些知识。在实际的使用中,我们该如何对 Elasticsearch 集群做正确的 sizing。我们到底需要多少内存,多少个 CPU,多少个 shards 等等。在今天的文章中,我总结一些专家的建议,希望对于正确使用 Elasticsearch 提供一些参考的意见。在实际的使用中,可能需要根据自己的使用进行调整。如果你对分片(shard)的概念不是很熟悉的话,请阅读我之前的文章 “”。

2022-10-19 13:58:46 1617 4

原创 Observability:集群监控 (二) - Elastic Stack 8.x

这是之前的文章 “” 的续篇。在上一篇文章中,我详细地介绍了如何使用传统的收集器来监控 Elastic Stack。这个是不被推荐的方法。在 Elastic Stack 7.16 推出以后,更为推荐的方法是使用 Metricbeat 来监控 Elastic Stack。在今天的文章中,我将详细地介绍如何使用一个监控 Elasticsearch 集群来监控一个生产环境的集群。如上所示,我们使用一个专有的 Elasticsearch 集群来作为监控集群来监控其它的 Elastic Stack 组件。

2022-10-18 15:18:26 1063

原创 Observability:集群监控 (一) - Elastic Stack 8.x

你可以在我之前文章 “” 的 “” 找到相关的 Elastic Stack 监控的文章。在那些文章里,所有的理论还是成立的,只不过在最新的 Elastic Stack 8.0 出现后,由于 HTTPS 访问变成了默认的配置,需要有一些额外的配置,而且界面有所改变。在今天的文章中,我来详细地介绍如何在 Elastic Stack 8.0 平台下监控 Elastic Stack。

2022-10-17 16:48:48 1372 1

翻译 Elastic 在 SIEM 市场继续获得动力

Elastic 仅在市场上推出了两年就成功交付了领先的安全信息和事件管理 (SIEM) 产品。根据 IDC 2021 年全球安全信息和事件管理市场份额:Cardinal SIEM 报告,Elastic 是增长最快的 SIEM 之一(同比增长超过 80%),并且在报告中的 20 多家 SIEM 供应商中,在 2021 年的市场份额中排名第五。

2022-10-17 12:05:32 356

原创 感谢 CSDN 给予的荣誉!你的鼓励是我创做的动力

感谢 CSDN 给予的荣誉!你的鼓励是我创做的动力

2022-10-14 18:04:17 417

原创 Elasticsearch:运用 Python 实时通过 Logstash 写入日志到 Elasticsearch

在我之前的文章,我详细地介绍了如何通过 Filebeat 来收集日志并写入到 Elasticsearch。在今天的文章中,我将分享如何使用 Logstash 把日志文件发送到 Elasticsearch。使用 Logstash 的好处是它可以很方便地使用它丰富的过滤器对数据进行清洗以便更好地对数据进行分析。我们使用如下的架构:在今天的展示中,我将使用最新的 Elastic Stack 8.4.3 来进行展示。

2022-10-13 10:11:55 1762 9

原创 Beats:如何在 Elastic Stack 中得到并使用 Root CA Certificate fingerprint

在我之前的很多文章中,我基本上使用的 CA 证书来进行配置的。在很多其它的场合,我们可以使用 fingerprint 来进行连接。那么我们该如何得到并使用这个证书呢?在上面,我们配置 output.elasticsearch 部分。你们需要根据自己的配置进行相应的修改。如上所示,我们可以发现 CA 证书的 fingerprint。上面也显示了这个 fingerprint。但是在实际的使用中,这个带有 : 符号的字符串,并不能直接使用。从上面的输出中我们可以看出来我们的配置是成功的。我们先安装之前的教程 “

2022-10-12 11:37:24 517

原创 运用 Elastic Stack 收集 docker 容器日志

Elastic Stack 在收集日志方面有很多的方面的应用。在今天的文章中,我将使用 docker 来安装 Elastic Stack。我将演示如何使用 docker 安装 Filebeat 并收集容器的日志。

2022-10-12 10:11:27 1559 1

原创 Logstash: Grok 模式示例

Logstash 可以轻松解析 CSV 和 JSON 文件,因为这些格式的数据组织得很好,可以进行 Elasticsearch 分析。但是,有时我们需要处理非结构化数据,例如纯文本日志。在这些情况下,我们需要使用 Logstash Grok 或其他第 3 方服务解析数据以使其成为结构化数据。本教程将通过使用 Logstash Grok 进行解析,帮助你利用 Elasticsearch 的分析和查询功能。因此,让我们深入了解如何使用 Logstash Grok 过滤器处理非结构化数据。

2022-10-10 10:39:53 709

如何阅读我的文章来学习 Elastic Stack

如何阅读我的文章来学习 Elastic Stack。

2022-11-08

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

images.tar.gz

Pictures for tutorials

2014-09-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除