用Fluent Bit和M3DB进行指标监测的介绍

CSDN-Ada助手

于 2022-06-23 03:00:27 发布

阅读量328

点赞数

本文链接：https://blog.csdn.net/community_717/article/details/125419664

版权

发布日期：2022年3月21日

客串文章，最初发表在Chronosphere的博客上，作者是Gibbs Cullen

这篇博客主要是对Calyptia的联合创始人、Fluent维护者Anurag Gupta和我本人在2021年北美FluentCon上主持的题为 "Hands on Workshop:开始使用M3DB的Fluent Bit和Metrics"。为了帮助设置研讨会的背景，我们还包括了对Fluent技术的概述，以及围绕Fluent生态系统内的最新发展情况。

关于将M3DB与Fluent Bit搭配使用的动机，Anurag解释说："M3DB大规模存储长期指标数据的能力使其成为展示Fluent Bit新功能的最佳选择，尤其是M3DB与Prometheus的兼容性和在最大企业中的有效性。我们很高兴能扩展Fluent Bit对Prometheus度量的支持，以立即赋予所有这些用户权力。"

虽然研讨会选择了M3DB，但Fluent Bit最近对Prometheus度量的支持可以被任何Prometheus兼容的解决方案所利用。要了解更多关于Fluent生态系统和研讨会的信息，请查看完整的会议记录和研讨会说明。

Fluent生态系统有什么新特点？

Fluent 生态系统由 CNCF 授予的项目Fluentd和Fluent Bit 组成，最近增加了对Prometheus和Open Metrics 的支持。Fluentd为行业标准的后端数据源提供了一个统一的日志层，而Fluent Bit则致力于处理和转发这些数据。

这两个项目在历史上都专注于基于日志的度量，但随着最新的版本（1.8之后），它们现在与普罗米修斯度量兼容。

Fluent Bit和度量衡

当Fluent Bit在2015年创建时，它的主要用例之一是嵌入式Linux，带有插件的基于日志的指标，如CPU、磁盘和内存。然而，随着Prometheus生态系统的迅速发展，Fluent Bit不再兼容较新的指标后端，而且与标准的Prometheus格式相比，旧的基于日志的指标要重得多（从字节上看）。

虽然Prometheus集成对Fluent Bit来说并不新鲜，自2019年以来通过Prometheus格式暴露内部指标，但最新版本（1.8版）通过增加对较新指标后端的兼容性继续努力。其中的一些发展包括。

遵循与Prometheus节点导出器相同的格式和阐述，导出新的节点导出器指标（如CPU、网络、磁盘）。
普罗米修斯远程写入（推）和普罗米修斯出口（拉）作为新的指标输出

关于1.8版本的更多信息，请参见完整的发布说明。

Fluent Bit和M3

M3是一个开源的度量衡引擎，旨在完全兼容Prometheus远程存储和PromQL。这意味着它可以通过Prometheus远程写入接受度量，Fluent Bit在1.8版本中支持这一点。

为了展示生态系统的这些变化，Anurag和我建立了一个研讨会，通过Docker compose文件将Fluent Bit代理与M3 Coordinator、M3 Query和M3DB的实例一起旋转。这个文件还包括Grafana和Prometheus的实例。

就架构而言，Prometheus实例被配置为从Fluent Bit代理那里刮取自己和节点导出器指标，这些指标与Prometheus导出器格式兼容。从那里，M3协调员通过Prometheus远程写入接收这些指标，然后使用法定人数逻辑将它们分发到M3DB。M3 Query用于通过Grafana从M3DB查询这些数据。在Grafana的实例中，你可以看到所有的Prometheus指标。

Showing Fluent Bit's relationship with Prometheus, M3 and Grafana

Fluent Bit的配置还显示了代理的输出如何使用Prometheus远程写入和Prometheus输出器来发送节点输出器指标到M3协调员。

[INPUT]
    名称 node_exporter_metrics
    标签 node_metrics
    scrape_interval 2

[OUTPUT]
    名称 prometheus_exporter
    匹配node_metrics
    listen 0.0.0.0
    端口 2021
    add_label app fluent-bit-exporter

[OUTPUT]
    名称 prometheus_remote_write
    匹配node_metrics
    主机m3coordinator
    端口7201
    Uri /api/v1/prom/remote/write

如果想大规模地管理或监控这些指标，像M3这样的解决方案可以通过它的下采样和流式聚合层，以及它的默认数据复制（3倍）和优化的压缩算法，在M3DB内索引指标，帮助提高效率和可靠性。