Elastic 中国社区官方博客

你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................

通过上面的两篇文章的介绍，我们应该充分掌握了如何使用 enrich processor 来丰富数据了。特别是在上面的第二篇文章中，我们需要使用手动来一个一个地通过 Kibana 的界面来写入数据。我们感觉还是比较麻烦。如果我们能够实现自动化来完成整个的操作，那将是非常好的。在今天的文章中，我们将结合 enrich processor 和 Logstash 来实现数据的丰富自动化。我们可以利用 Linux 所提供的脚本来完成数据摄入的自动化。

通常，很多关系数据项目都使用 MySQL。它对于标准的 CRUD 操作是有益的，但有时我们需要做额外的过程。当我们搜索某些内容时，我们会消耗资源或合并多个表。有时，即使不是，可能仍然需要复杂的 SQL 查询。也许这不是正确的方法，但这是我们改变技术堆栈的不同方法。对于这个堆栈，我们首先描述 Logstash。更多阅读：“” 中的 “” 章节。

在我之前的文章 “Observability：如何把 Elastic Agent 采集的数据输入到 Logstash 并最终写入到 Elasticsearch”，我详细介绍了如何使用 Elastic Agents 采集数据并把数据通过 Logstash 发送至 Elasticsearch。细心的开发者可能注意到从 Elastic Agents 到 Logstash 直接的链接它不是加密的。这个在实际的使用中可能会有安全的隐患。那么我们该如何配置这个链接之间的安全呢？

在今天的文章中，我们来详述如下使用 Elastic Agents 在独立（standalone）模式下来采集数据并把数据最终通过 Logstash 来写入到 Elasticsearch 中去。在今天的练习中，我将使用如下的架构来搭建我的测试环境：我在 macOS 下安装 Elasticsearch 及 Kibana，在 Ubuntu OS 下安装 Apache, Elastic Agent 及 Logstash。

通过遵循 Elasticsearch 中数据摄取的这些最佳实践，你可以确保高效可靠的数据摄取过程。正确准备和构建数据、利用具有最佳批量大小的批量摄取、启用压缩、利用 Logstash 进行数据转换以及监控摄取性能是实现稳健且可扩展的 Elasticsearch 部署的关键步骤。

我们将探讨使用 3 种不同的架构发送应用的日子到 Elasticsearch。应用程序 -> Filebeat -> Logstash -> Elasticsearch应用程序 -> Filebeat -> Elasticsearch应用程序 (Java) + Logstash-logback-encoder -> Logstash -> Elasticsearch虽然可能还有其他发送日志的方法，但根据我的经验，将这些方法结合起来可以满足任何业务需求。

Elastic 2023年首场 Meetup 将于5月27日在北京举办，本次活动由 Elastic 和 新智锦绣 联合主办，届时将有行业专家及知名企业分享他们在Elasticsearch 应用中的经验与观点，带来最前沿的技术分享与思想碰撞。我们诚邀广大技术爱好者及开发者参加，共同探讨数据应用和大数据时代的挑战。

在我之前的许多文章中，我已经详细地描述了如何配置如下的管道：在实际的使用中，Elastic Stack 中的各个组件极有可能不在同样的一个机器上。我们该如何保证数据在传输过程中的安全呢？我们需要确保在上图所示的每一个连接都是安全的。在今天的教程中，我将详述如何在考虑安全的情况下设置 Filebeat、Logstash、Elasticsearch 和 Kibana。我将在 Ubuntu OS 22.04 上安装最新的 Elastic Stack 8.7.0。

有时，我们无法控制数据本身，我们需要管理数据的结构，甚至需要在摄取数据时处理字段名称。但有趣的是，我对摄取管道尝试了很多不同的方法，但我找不到解决方案。如你所见，错误与我们上面得到的错误相同。但是，这并不意味着你不能在文档中的任何地方使用这些字段名称。例如，你想使用 Logstash 移动该数据。因此，当你尝试使用 Logstash 摄取它时，你将收到以下错误。Elasticsearch 有一些保留的字段名称，你不能在文档中使用这些名称。究其原因，在上面的 _id 它不是在 root node 下的字段。

我们大多数人已经熟悉 Elastic 产品。在此博客中，我们将逐步介绍配置 Logstash 以使用多个管道摄取和处理数据的步骤。Logstash 是一种开源数据处理管道，可让你摄取、转换和输出数据。它是从各种来源收集和处理大量数据的强大工具，可用于管理和分析日志、指标和其他类型的数据。更多关于 Logstash 的介绍，请阅读我之前的文章 “关于 Logstash 如何处理多个 inputs，请阅读之前的文章 “

Elastic Stack 用于大量用例，从操作日志和指标分析到企业和应用程序搜索。 确保你的数据可扩展、持久且安全地传输到 Elasticsearch 非常重要，尤其是对于任务关键型环境。本文档的目的是强调 Logstash 最常见的架构模式以及如何随着部署的增长而有效扩展。 重点将围绕操作日志、指标和安全分析用例，因为它们往往需要更大规模的部署。 此处提供的部署和扩展建议可能因你自己的要求而异。

我来总结在 Logstash 中一些常用的 lookups。如下的这些插件可以帮助你使用附加信息丰富数据，例如 GeoIP 和用户代理信息。

在我之前的文章 “”，我详述了如何安装 Logstash。在那篇文章中，我详述了直接从 Elastic 官方网站下载各个平台的安装软件，并进行直接安装。在实际的使用中，如果我们需要让 Logstash 也随着操作系统版本的更新而更新，我们实际上可以从操作系统的平台中的仓库进行安装。当操作系统平台中有更新的版本，我们也可以自动更新到新的版本。Logstash 是一个强大的工具，用于收集、转换和发送日志和其他数据。

Grok（动词）直觉地或同理心地理解（某事）。解析日志数据时最常见的任务之一是将原始文本行分解为一组其他工具可以操作的结构化字段。如果你使用的是 Elastic Stack，则可以利用 Elasticsearch 的聚合和 Kibana 的可视化，从日志中提取的信息（如 IP 地址、时间戳和域特定数据）中回答业务和运营问题。对于 Logstash，此解构工作由执行，这是一个过滤器插件，可帮助你描述日志格式的结构。有，它们抽象了诸如和等概念。简单吧？是的！太棒了！我们在这里完成了吗？不！因为...

Logstash是一种服务器端数据处理管道，可同时从多个来源获取数据，对其进行转换，然后将其发送到 “存储”（如 Elasticsearch）。Grok是 Logstash 中的过滤器，用于将非结构化数据解析为结构化和可查询的内容。是定义搜索模式的字符序列。如果你已经在运行 Logstash，则无需安装额外的正则表达式库，因为Grok 位于正则表达式之上，因此任何正则表达式在 grok 中也有效——Elastic 文档。

我们知道 Elasticsearch output plugin 为我们在 Logstash 的 pipeline 中向 Elasticsearch 的写入提供了可能。​在实际的使用中，假如我们的操作不是 index，delete create 或 update 其中的一种，那么我们该如果对文档进行操作呢？比如我们想根据一定的条件来更新文档，就像 update by query 那样？我们该怎么办呢？​

针对带有 HTTPS 访问的 Elasticsearch 集群来说，在我之前的很多文章，我都习惯于使用集群的证书来访问 Elasticsearch。你可以参考我之前的文章 “这是一种非常简便的方法。好处是，我们可以随时使用在安装过程中的证书来访问 Elasticsearch。一个很大的缺点就是，我们必须拷贝证书，并把它放到 Beats 或者 Logstash 可以访问的位置进行配置。这个在使用的过程中非常不方便。相反，我们可以使用 fingerprint 来进行配置 Beats 及 Logstash。

检测解析的日志是否包含单个或多个警告消息，然后添加一个字段来说明这两种情况。在很多的情形下，我们在测试 Logstash 的过滤器时，并不急于把实际的 input 的数据接入到过滤器中来进行测试。我们首先来选择一个比较容易理解的 input 方式，使用一个文档来进行解析，并测试管道。在今天的文章中，我来详细介绍两种常用的方法来如何测试 Logstash 的管道/过滤器。

详细描述如何把 JSON 格式的文件摄入到 Elasticsearch 集群中。

我们知道 Logstash 及 Filebeat 在 Elasticsearch 数据摄入及清理中起到非常大的作用。它们是常用的工具用来对数据进行处理。我们可以运用 Logstash 丰富的过滤器来处理数据，我们也可以使用 Filebeat 的 processors 来处理数据。使用这些工具（和其他工具）对管道进行编码是一个高度迭代的过程，特别是在处理 grok 模式以解析非结构化日志时：你获得一些示例数据，将其提供给 input，然后你将重复： 我一直觉得这个改变管道和检查输出的迭代周期有点慢 — 确保你

我们知道丰富数据对于很多的应用来说非常重要。这涉及到访问不同的表格，并进行搜索匹配。找到最为相近的结果并进行丰富数据。针对 Elasticsearh 来说，我们可以通过 enrich processor来进行丰富。你可以阅读我之前的文章来了解更多：Elasticsearch：enrich processor （7.5发行版新功能）Elasticsearch：如何使用 Elasticsearch ingest 节点来丰富日志和指标Elasticsearch 的新 range 丰富策略使上下文数据分析更上一层楼

本指南介绍了如何使用 Logstash JDBC 输入插件通过 Logstash 将关系数据库中的数据提取到 Elasticsearch 集群中。它演示了如何使用 Logstash 高效地复制记录并从关系数据库接收更新，然后将它们发送到 Elasticsearch 中。此处提供的代码和方法已经过 MySQL 测试。他们应该也适用于其他关系数据库。Logstash Java 数据库连接 (JDBC) 输入插件使你能够从许多流行的关系数据库（包括 MySQL 和 Postgres）中提取数据。

在我之前的文章，我详细地介绍了如何通过 Filebeat 来收集日志并写入到 Elasticsearch。在今天的文章中，我将分享如何使用 Logstash 把日志文件发送到 Elasticsearch。使用 Logstash 的好处是它可以很方便地使用它丰富的过滤器对数据进行清洗以便更好地对数据进行分析。我们使用如下的架构：在今天的展示中，我将使用最新的 Elastic Stack 8.4.3 来进行展示。

Logstash 可以轻松解析 CSV 和 JSON 文件，因为这些格式的数据组织得很好，可以进行 Elasticsearch 分析。但是，有时我们需要处理非结构化数据，例如纯文本日志。在这些情况下，我们需要使用 Logstash Grok 或其他第 3 方服务解析数据以使其成为结构化数据。本教程将通过使用 Logstash Grok 进行解析，帮助你利用 Elasticsearch 的分析和查询功能。因此，让我们深入了解如何使用 Logstash Grok 过滤器处理非结构化数据。

作为 Elasticians，我们有机会观察各种 Elastic 用例。作为前 SOC 分析师，我们发现自己被安全用例所吸引。我们一直在寻找利用为 Elastic 和网络安全社区增加价值的方法。我们一直在研究——筛选新闻文章、白皮书、数据库等。我们意识到我们花了很多时间访问相同的站点并且需要整合提（呃！）。下面，我们将详细介绍我们如何使用 RSS 提要、Logstash、Elasticsearch 和 Kibana 来摄取、整合、聚合、可视化和搜索感兴趣的网络安全内容，以及如何做到这一点。】

前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在 Elasticsearch 8.x 的安装中，SSL 的连接是最基本的配置。那么我们如何把采集的数据成功地写到 Elasticsearch 中去呢？在今天的展示中，我将使用最新的 Elastic Stack 8.4.1 来进行展示。

在我们的实际使用中，我们可能面临更多的是时序数据。一旦数据被写入到 Elasticsearch 中，在分析数据时，我们可以充分 Elasticsearch 的强大功能进行聚合和搜索。如果我们是使用 Logstash 来采集数据的，那么我们有没有想到使用 aggregation filter 来对数据进行聚合，然后再写入到 Elasticsearch 中。那么在实际的搜索时，我们仅仅只需要进行搜索就可以了。

ElasticStack传统上由三个主要组件（Elasticsearch，Logstash和Kibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用--一个针对不同用例的日志运送者系列。 现在网上有一种说法叫做ELKB，这里的B就是指的beats.本教程为刚刚熟悉堆栈的用户提供了指南，并提供了开始使用不同节奏的信息-Filebeat，Packetbeat，M...

如果没有日志解析，搜索和可视化日志几乎是不可能的，一个被低估的技能记录器需要读取他们的数据。 解析结构化你的传入（非结构化）日志，以便用户可以在调查期间或设置仪表板时搜索清晰的字段和值。最流行的日志解析语言是 Grok。 你可以使用 Grok 插件在各种日志管理和分析工具比如 Elastic Stack 中解析日志数据。在这里查看我之前的的 Grok 教程。但是用 Grok 解析日志可能会很棘手。 本博客将研究一些 Grok 模式示例，这些示例可以帮助您了解如何解析日志数据。开始使用 Gr.

如果没有日志解析，搜索和可视化日志几乎是不可能的。 解析结构化您的传入（非结构化）日志，以便用户可以在调查期间或设置仪表板时搜索清晰的字段和值。但是用 Grok 解析日志可能会很棘手。 本博客将研究一些 Grok 模式示例，这些示例可以帮助你了解如何解析日志数据。

如何配置 Metricbeat 及 Logstash 为 Elasticsearch 8.0 收集数据如何配置 Metricbeat 及 Logstash 为 Elasticsearch 8.0 收集数据_哔哩哔哩_bilibili

Syslog 是一种流行的标准，用于集中和格式化网络设备生成的日志数据。 它提供了一种生成和收集日志信息的标准化方式，例如程序错误、通知、警告、状态消息等。 几乎所有类 Unix 操作系统，例如基于 Linux 或 BSD 内核的操作系统，都使用负责收集和存储日志信息的 Syslog 守护进程。它们通常存储在本地，但如果管理员希望能够从一个位置访问所有日志，它们也可以流式传输到中央服务器。 默认情况下，端口 514 和 UDP 用于传输 Syslog。在我之前的文章 “Beats：使用 Linux 系统

尽管在之前的文章中，我好些文章讲述如何使用 Docker 来安装 Elastic Stack。在今天的文章中，我想使用 Docker 来安装所有的需要用到的 Elastic Stack 元件：Filebeat Logstash Elasticsearch Kibana我们使用的架构是：为了方便大家学习，你可以在 github 下载仓库：git clone https://github.com/liu-xiao-guo/elasticstack-lab整个项目的文件如下：

这是继上一篇文章 “Elastic：运用 Elastic Maps 实时跟踪及可视化资产分布并地理围栏告警（一）” 的续篇。在上一篇文章中，我详细地介绍了如何从 Web 服务摄入实时数据，并创建了第一个 tracks 图层。在今天的文章中，我讲继续创建更多的图层以显示如何跟踪这些 bus 及进行 geofencing。指明巴士轨道的方向我们再接着添加一个图层，该图层使用数据中的属性来设置 bus 的样式和方向。 你会看到公交车的行驶方向以及交通状况。在上面，我们选择 D...

你对资产跟踪感兴趣吗？ 好消息！ 使用Elastic 地图应用可以轻松可视化和分析移动的数据。 你可以跟踪 IoT 设备的位置并监控运输途中的包裹或车辆。在本教程中，你将查看来自俄勒冈州波特兰市的实时城市交通数据。 你将观看城市公交车，使用数据可视化拥堵情况，并在公交车进入施工区时通知调度团队。你将学会：使用 Logstash 将 TriMet REST API 摄入到 Elasticsearch。 创建一个地图，其中包含可视化资产轨迹和最后已知位置的图层。 使用符号和颜色来设置数据值的样式

在我之前的文章“Elastic：运用 Elastic Stack 分析 Spring boot 微服务日志 (一）”，我详细讲述了如何使用如下架构来进行对 Spring boot 应用进行日志分析：细心的开发者可能已经发现：我们的 Logstash 的配置文件每次只配置一个 log 文件，也就是说每个 Logstash 的实例只能处理一个文件。这在很多的情况下不是最优的。比如说，我们有10个 log 文件，那么我们可能需要10个 Logstash 的实例来处理这个。由于 Logstash 的使用成本

在 Logstash 的过滤器中。有许多的过滤器是可以用来和外部的数据对 pipeline 里的数据进行丰富的。Jdbc_static 过滤器就是其中的一个。此过滤器使用从远程数据库预加载的数据丰富事件。我们之所以选择这个，是因为你不必频繁查询你的数据库，也不会给你的数据库带来很大的压力。此过滤器最适合使用静态或不经常更改的参考数据（例如环境、用户和产品）来丰富事件。此过滤器的工作方式是从远程数据库获取数据，将其缓存在本地内存中的 Apache Derby 数据库中，并使用查找来使用本地数据库中缓存

我今天看了一篇文章 “Elasticsearch Data Enrichment with Logstash: A Few Security Examples”。它里面有介绍 Logstash 的DNS 过滤器。感觉是一个很不错的过滤器。但是使用起来不是很直接明了。你可以在 Elastic 测官方网站 DNS filter plugin 来详细查看它的使用方法。在今天的文章中，我将以极其简单的例子来进行展示。这样让大家看得更明白一点。首先，我们来创建一个叫做 logstash.conf 的配资文件：

我记得在之前的文章 “Logstash：使用 ELK 堆栈进行 API 分析” 运用 Logstash 对一些指标的 API 进行分析。在今天的练习中，我将展示如何使用 Logstash 来对一些日志类的 Service API 进行分析。我们知道在很多的时候，我们可以很快速地运用一些脚本对一些 Service API 进行数据分析。这对于我们快速地分析一些数据进行分析是有帮助的。在数据导入中，我们可以使用 Logstash 所提供的丰富的 filter 来对数据进行清洗，丰富，转换等。在今天的练习中，