Beats: 使用 Filebeat 进行日志结构化 - Python

已于 2022-10-13 09:03:00 修改
阅读量5.7k 收藏 8
点赞数 2
分类专栏： Elastic Beats Observability 文章标签： elasticsearch 大数据
于 2020-06-11 17:18:07 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/106688240
版权
Elastic 同时被 3 个专栏收录
1314 篇文章 836 订阅
订阅专栏
Observability
145 篇文章 29 订阅
订阅专栏
Beats
90 篇文章 73 订阅
订阅专栏

结构化日志背后的想法很简单：让应用程序直接编写 JSON 对象，而不是让应用程序将需要通过正则表达式解析的日志写入到你索引到 Elasticsearch 的 JSON 对象中。

 举例来说，假设你正在编写 Python Web 应用程序，并且正在使用标准库进行记录。 用户登录后，你可能会使用如下所示的日志记录语句：

createlogs.py

import logging

user = {
  "name": "liuxg",
  "id": "1"
}

session_id = "91e5b9d"

logging.basicConfig( filename="test.log", level=logging.DEBUG )

logging.debug( "User '{}' (id: {}) successfully logged in. Session id: {}"
               .format(user["name"], user["id"], session_id) )

logging.debug("User '{}' (id: {}) changed state to verified."
              .format(user["name"], user["id"]))

 上面的 python 应用将生成如下的日志信息：

DEBUG:root:User 'liuxg' (id: 1) successfully logged in. Session id: 91e5b9d
DEBUG:root:User 'liuxg' (id: 1) changed state to verified.

我们知道 logging 有不同的 level。我们可以通过配置 level 为我们提供 logging 提供输出控制：

logging_test.py

import logging

logging.basicConfig( filename="test.log", level=logging.INFO )

logging.debug("debug")
logging.info("info")
logging.warning("warning")
logging.error("error")
logging.critical("critical")

如上所示，我们定义了 level 为 INFO，也就是说低于 info 的 logging 就不会被输出。运行上面的代码：

$ cat test.log 
INFO:root:info
WARNING:root:warning
ERROR:root:error
CRITICAL:root:critical

从上面的输出中，我们可以看出来，由于 debug 的级别比 info 低，所以，我们看不到 debug 的输出。自从 printf 以来，这种日志记录方法就很流行。那时，你通常只有一台服务器，并且会拖尾并 grep 日志文件，一切都很好。

但是，时代已经变了，如今，你很有可能拥有数十，数百或数千个服务器/虚拟机/容器来创建大量日志，因此你将它们集中在  Elasticsearch 中并使用其神奇的功能（这就是它的感受）搜索和汇总功能以在它们之间进行导航。

只有把上面的数据进行结构化处理，才能在 Elasticsearch 中发挥更好的效效果，因此你可以在各个字段上进行搜索和汇总。因此，在建立索引之前，你通常会使用 Logstash 出色的 Grok 过滤器将应用程序日志解析为 JSON 对象，但这意味着您必须编写和维护 Grok 模式并花费 CPU 周期来进行解析。当然你也可以使用 Filebeat 结合 pipeline processors 来完成这项工作。对于还不是很熟悉的开发者来说，请参阅我之前的文字：

现在，让我们尝试使用结构化日志记录的相同示例。尽管通常不在标准库中，但是所有主要的编程语言都具有使结构化日志记录变得容易的库。 James Turnbull 在他的博客文章中创建了一个列表，其中还详细介绍了如何为 Rails 应用程序执行此操作。在 Python 中，有一个 structlog 库，我们将在这里使用它。

我们可以使用如下的方法来进行安装：

pip2 install structlog

如果你想在开发环境中看到彩色的输出，那么你可以使用如下的方法进行安装：

pip2 install structlog colorama

我们使用同样分方法，来进行生产日志：

createlogs_1.py

import logging
import structlog

user = {
  "name": "liuxg",
  "id": "1"
}

session_id = "91e5b9d"

log = structlog.get_logger()

log = log.bind(user='arthur', id=42, verified=False)
log.msg('logged_in')
log.msg('changed_state', verified=True)

上面的应用将生成如下的日志：

2020-06-11 14:50.41 logged_in                      id=42 user=arthur verified=False
2020-06-11 14:50.41 changed_state                  id=42 user=arthur verified=True

需要注意的一件事是，代码的重复性较低，它鼓励开发人员包括所有数据，而不是仅在编写代码时才包含重要的数据。 还要注意，以这种格式，对于开发人员来说，日志行仍然相当容易遵循。 但是，在投入生产时，使用 JSON 渲染器会更有意义：

createlogs_2.py

import logging
import structlog
from structlog import wrap_logger, PrintLogger, wrap_logger
from structlog.processors import JSONRenderer

file = open('json_logs', 'w')
log = wrap_logger(PrintLogger(file), processors=[JSONRenderer()])

log = log.bind(user_name='arthur', id=42, verified=False)
log.msg('logged_in')
log.msg('changed_state', verified=True)

file.close

上面的应用运行后，生产一个叫做 json_logs 的文件：

{"user_name": "arthur", "id": 42, "verified": false, "event": "logged_in"}
{"user_name": "arthur", "id": 42, "verified": true, "event": "changed_state"}

这种 JSON 格式的文件人眼难以理解，但是具有的优点是，数据已经按照 Elasticsearch 喜欢的格式进行了结构化。

Filebeat 是一个用 Go 语言编写的开源日志传送器，可以将日志行发送到 Logstash 和 Elasticsearch。 它提供了“至少一次”保证的数据传输，因此你永远不会丢失日志行，并且它使用了背压敏感协议，因此不会使你的管道过载。 还包括基本过滤和多行关联。

如果你的日志就像上面的示例一样，Filebeat 每行存储一个JSON对象，它还可以本地解码 JSON 对象。

这是一个示例配置文件，该文件配置Filebeat来拾取文件并将 JSON 对象发送到 Elasticsearch：

filebeat_json.yml
 

filebeat.inputs:
- type: log
  enabled: true
  tags: ["i", "love", "json"]
  json.message_key: event
  json.keys_under_root: true
  json.add_error_key: true
  fields:
    planet: liuxg
  paths:
    - /Users/liuxg/python/logs/json_logs

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "json_logs1"

setup.ilm.enabled: false
setup.template.name: json_logs1
setup.template.pattern: json_logs1

在运行 Filebeat 之前，我们可以在 Kibana 中执行如下的命令：

PUT json_logs1
{
  "mappings": {
    "properties": {
      "event": {
        "type": "keyword"
      },
      "id": {
        "type": "long"
      },
      "user_name": {
        "type": "keyword"
      },
      "verified": {
        "type": "boolean"
      }
    }
  }
}

在这里，我们定义这个索引的 mapping。

我们接着执行运行 Filebeat:

./filebeat -e -c ~/python/logs/filebeat_json.yml

那么在我们的 Kibana 中，我们可以查询到最新生成的文档：

GET json_logs1/_search
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "json_logs1",
        "_type" : "_doc",
        "_id" : "uw-jonIBB4HethT_mOIZ",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-06-11T09:08:48.550Z",
          "user_name" : "arthur",
          "verified" : false,
          "tags" : [
            "i",
            "love",
            "json"
          ],
          "fields" : {
            "planet" : "liuxg"
          },
          "ecs" : {
            "version" : "1.5.0"
          },
          "agent" : {
            "ephemeral_id" : "0c9b96dd-76c8-45c5-96ef-00859f9e12dc",
            "hostname" : "liuxg",
            "id" : "be15712c-94be-41f4-9974-0b049dc95750",
            "version" : "7.7.0",
            "type" : "filebeat"
          },
          "id" : 42,
          "event" : "logged_in",
          "log" : {
            "offset" : 0,
            "file" : {
              "path" : "/Users/liuxg/python/logs/json_logs"
            }
          },
          "input" : {
            "type" : "log"
          },
          "host" : {
            "name" : "liuxg"
          }
        }
      },
      {
        "_index" : "json_logs1",
        "_type" : "_doc",
        "_id" : "vA-jonIBB4HethT_mOIZ",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-06-11T09:08:48.551Z",
          "event" : "changed_state",
          "input" : {
            "type" : "log"
          },
          "log" : {
            "offset" : 75,
            "file" : {
              "path" : "/Users/liuxg/python/logs/json_logs"
            }
          },
          "user_name" : "arthur",
          "id" : 42,
          "verified" : true,
          "tags" : [
            "i",
            "love",
            "json"
          ],
          "fields" : {
            "planet" : "liuxg"
          },
          "ecs" : {
            "version" : "1.5.0"
          },
          "host" : {
            "name" : "liuxg"
          },
          "agent" : {
            "version" : "7.7.0",
            "type" : "filebeat",
            "ephemeral_id" : "0c9b96dd-76c8-45c5-96ef-00859f9e12dc",
            "hostname" : "liuxg",
            "id" : "be15712c-94be-41f4-9974-0b049dc95750"
          }
        }
      }
    ]
  }
}

如你所见，Filebeat 自动添加一个时间戳。 请注意，这是读取日志行的时间，可能与应用程序写入日志行的时间不同。 如果需要更好的准确性，可以设置 structlog 库以生成时间戳。

Filebeat 还会自动添加一些元数据（例如主机名），并使其易于通过配置文件添加自定义字段和标签。 这意味着应用程序不必担心从环境中添加元数据。

这就是你所需要的。 简单的事情应该很简单:-)

Elastic 中国社区官方博客
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
专栏目录
博客
Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办
04-12 1374
2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elasticsearch：ES|QL 动手实践
11-14 1591
在我之前的文章 “”，我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中，我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
使用 OpenTelemetry 中的推断跨度来揭示跟踪数据中的未知信息
04-24 362
在微服务和分布式系统的复杂世界中，实现透明度并了解服务交互和请求流程的复杂性和低效性已成为一个重要挑战。分布式跟踪对于理解分布式系统至关重要。但是，无论是手动应用还是自动检测，分布式跟踪通常都相对粗粒度。因此，分布式跟踪仅覆盖系统的有限部分，往往会错过系统中最有价值的跟踪部分。
博客
Elasticsearch：崭新的打分机制 - Learning To Rank (LTR)
04-22 1166
“学习排名 (Learning To Rank)” 功能处于技术预览版，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但此功能不受官方 GA 功能的支持 SLA 的约束。：此功能是在版本 8.12.0 中引入的，并且仅适用于某些订阅级别。有关更多信息，请参阅。Learning To Rank (LTR) 使用经过训练的机器学习（ML）模型来构建搜索引擎的排名函数。通常，该模型用作第二阶段的重新排序器，以提高简单的第一阶段检索算法返回的搜索结果的相关性。
博客
Elasticsearch 开放 inference API 增加了对 OpenAI chat completions 的支持
04-21 1487
我们很高兴地宣布在 Elasticsearch 中推出的最新创新：在 Elastic 的中集成了 OpenAI Chat Completions 功能。这一新特性标志着我们在整合尖端人工智能能力至 Elasticsearch 的旅程中又迈出了一步，提供了生成类人文本完成等更多易于使用的功能。更多关于 OpenAI Chat Completions 的用法，请阅读文章 “
博客
Elastic 网络爬虫：为你的网站添加搜索功能
04-20 1405
从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。现在我们可以在新规则生效的情况下重新进行一次爬取。注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。
博客
从 Elastic 的 Go APM 代理迁移到 OpenTelemetry Go SDK
04-19 983
正如，Elastic 致力于帮助 OpenTelemetry（OTel）取得成功，这意味着在某些情况下构建语言 SDK 的分发版本。Elastic 在观察性和安全数据收集方面战略性地选择了 OTel 标准。此外，Elastic 承诺与 OTel 社区合作，成为观察性生态系统中最佳的数据收集基础设施。Elastic 正在加深与 OTel 的合作关系，超越了最近将（invokedynamic）以及。
博客
Elasticsearch：使用向量化和 FFI/madvise 加速 Lucene
04-18 1045
在 Lucene 领域，我们一直热切地采用新版本 Java 的功能。这些功能使 Lucene 更接近 JVM 和底层硬件，从而提高了性能和稳定性。这使得 Lucene 保持现代化和具有竞争力。Lucene 的下一个主要版本，Lucene 10，将需要至少 Java 21。让我们看看我们为什么要这样做以及它将如何惠及 Lucene。
博客
Elasticsearch：简化 KNN 搜索
04-18 3174
在这篇博客文章中，我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力！我们在 Elastic 处理 knn 搜索的方式在不断进化，我们持续引入新功能和改进，因此这些参数和整体评估很可能很快就会过时！我们总是在密切关注，一旦发生变化，我们将确保跟进并相应调整我们的配置！需要记住的一件重要事情是，这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验，并根据自己的需求进行相应调整（例如，在某些情况下，召回率可能比延迟更重要）。
博客
追溯历史：SIEM 中的生成式人工智能革命
04-17 1155
网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
博客
Elasticsearch：如何将 MongoDB 数据引入 Elastic Cloud
04-17 1370
​Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库，它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。
博客
Elasticsearch .NET 客户端的演变
04-16 1011
在 .NET 世界中，与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持，该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的，由于其丰富的功能集和无缝的集成能力，很快就受到了开发人员的欢迎。在的近 14 年时间里，NEST 一直忠实地跟踪 Elasticsearch 的发布。
博客
RAG (Retrieval Augmented Generation) 结合 LlamaIndex、Elasticsearch 和 Mistral
04-16 1391
在这篇文章中，我们将讨论如何使用 RAG 技术（检索增强生成）和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。
博客
向量数据库与图数据库：理解它们的区别
04-16 1135
向量数据库将数据组织成广阔的、多维空间中的点，而不是行和列。每个点代表一条数据，其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙，其中每颗行星都是一条数据，它们被组织成与相似的行星更近，与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点，这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质，这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中，两个点越接近，它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。
博客
NLP vs. LLMs: 理解它们之间的区别
04-15 9464
随着人工智能持续发展并在无数行业解决问题，技术的一个关键部分是能够无缝地桥接人类语言和机器理解之间的差距。这就是自然语言处理（NLP）和大型语言模型（LLMs）的用武之地。它们提供了独特而专业的方法，将人类沟通的力量与软件和机器连接起来。简单来说，NLP 和 LLMs 使我们能够与软件进行类似人类的对话。NLP 是翻译者，基于定义的规则和结构分析和操作人类语言。这使得机器能够理解语法、句法和上下文的细微差别，从而能够计算情感、提取信息和进行机器翻译。LLMs 则是大脑。通过大量的文本数据驱动，它
博客
改进 Elastic Agent 和 Beats 中的事件队列
04-15 1774
​在 8.12 版本中，我们引入了性能预设 —— 一种更简单的方法，用于调整 Elastic Agent 和 Beats 以适应各种场景。这提高了常见环境的性能，而过去通常需要进行详细调整。从 8.13 版本开始，我们专注于改进我们的内部库，以更好地支持这些预设。其结果是我们的内部事件队列进行了重写，为所有 Beats 带来了降低的内存使用。在我们的内部基准测试套件中，Filebeat 8.13 在所有预设上显示出大约 20% 的内存减少。在这篇文章中，我们将探讨如何实现这一点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值