![](https://img-blog.csdnimg.cn/20210806205844448.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Fluentd
文章平均质量分 85
Fluentd & Fluent Bit
一线大码
CSDN不更新了,已转掘金。主页:https://juejin.cn/user/3280598429340984
展开
-
【官方文档】Fluent Bit 数据管道之输出插件(Kafka)
文章目录1. 配置参数2. 入门指南2.1. 命令行2.2. 配置文件官方文档地址:KafkaKafka 输出插件允许将你的记录输入到 Apache Kafka 服务中。这个插件使用官方的 librdkafka C library(内置依赖)。1. 配置参数参数描述默认值format指定数据格式,可选项:json,msgpack。jsonmessage_key用于存储消息的可选键。message_key_field如果设置,记录中的 Message_Ke原创 2021-07-29 00:04:59 · 2047 阅读 · 0 评论 -
【官方文档】Fluent Bit 数据管道之过滤插件(Parser)
文章目录1. 配置参数2. 配置文件3. 保留原始字段3.1. Reserve_Data3.2. Preserve_Key官方文档地址:ParserParser 过滤器插件允许解析事件记录中的字段。1. 配置参数插件支持以下配置参数:参数描述默认值Key_Name指定要解析的记录中的字段名。Parser指定解释该字段的解析器名称。允许有多个 Parser 条目(每行一个)。Preserve_Key在解析的结果中保留原始的 Key_Name 字段。如果为原创 2021-07-28 23:37:25 · 3206 阅读 · 0 评论 -
【官方文档】Fluent Bit 数据管道之过滤插件(Kubernetes)
文章目录1. 配置参数2. 处理 'log' 值3. Kubernetes Annotations3.1. Pod 定义中的 annotations 示例3.1.1. 建议一个解析器3.1.2. 请求排除日志4. Tail + Kubernetes 过滤器的工作流程5. 可选特性:使用 Kubelet 获取元数据5.1. 配置设置5.2. 验证 Use_Kubelet 选项是否正常工作6. 故障排除官方文档地址:KubernetesFluent Bit Kubernetes 过滤器允许使用 Kuber原创 2021-07-26 23:41:22 · 3031 阅读 · 2 评论 -
【官方文档】Fluent Bit 数据管道之输入插件(Tail)
文章目录1. 配置参数支持多行官方文档地址:Tailtail输入插件允许监控一个或几个文本文件。它具有与tail -f shell 命令类似的行为。插件读取Path模式中每个匹配的文件,每发现一行(用\n分隔),它就会生成一个新的记录。可以选择使用数据库文件,来记录文件的历史和偏移量状态,如果服务重新启动,就可以恢复到之前的状态。1. 配置参数插件支持以下配置参数:参数描述默认值Buffer_Chunk_Size设置读取文件数据的初始缓冲区大小。此值用于增加缓冲区大小。原创 2021-07-25 23:13:21 · 3927 阅读 · 0 评论 -
【官方文档】Fluent Bit 数据管道
Fluent Bit 数据管道之输入插件(Tail)Fluent Bit 数据管道之过滤插件(Kubernetes)Fluent Bit 数据管道之过滤插件(Parser)Fluent Bit 数据管道之输出插件(Kafka)原创 2021-08-03 14:47:33 · 361 阅读 · 0 评论 -
【官方文档】Fluent Bit 安装在 Windows
文章目录1. 安装包2. 从 ZIP 归档安装3. 从 EXE 程序安装4. Windows 服务支持5. 从源代码编译5.1. 准备5.2. 编译5.3. 打包官方文档地址:WindowsFluent Bit 是作为td-agent-bit包分发给 Windows 的。Fluent Bit 有两种 Windows 安装程序:一个 ZIP 归档文件(用于快速测试)和一个 EXE 安装程序(用于系统安装)。1. 安装包最新的稳定版本是1.8.2:安装程序SHA256 校验码td原创 2021-07-23 23:23:24 · 1279 阅读 · 0 评论 -
【官方文档】Fluent Bit 安装在 Kubernetes
文章目录1. 概念2. 安装2.1. 注意 Kubernetes < v1.162.2. Fluent Bit to Elasticsearch2.3. Minikube 上的 Fluent Bit to Elasticsearch3. 通过 Helm Chart 安装3.1. 默认值4. 详情5. 容器运行时接口(CRI)解析器6. Windows 部署6.1. 日志文件概述6.2. 配置 Fluent Bit6.3. 减轻 Windows pod 上不稳定的网络官方文档地址:Kubernetes原创 2021-07-23 00:15:57 · 2310 阅读 · 2 评论 -
【官方文档】Fluent Bit 安装在 Linux
文章目录2. Redhat / CentOS2.1. 安装在 Redhat / CentOS 上2.2. 配置 Yum2.3. 安装官方文档地址:Linux Packages2. Redhat / CentOS2.1. 安装在 Redhat / CentOS 上Fluent Bit 作为td-agent-bit软件包分发,可用于最新稳定的 CentOS 系统。支持以下架构:x86_64。aarch64 / arm64v8。2.2. 配置 Yum我们通过 Yum 存储库提供td-agen原创 2021-07-23 00:19:05 · 1409 阅读 · 0 评论 -
【官方文档】Fluent Bit 安装
文章目录1. 开始使用 Fluent Bit1.1. 容器部署1.2. 在 Linux 上安装(软件包)1.3. 在 Windows 上安装(软件包)1.4. 从源代码编译(Linux,Windows,FreeBSD,MacOS)1.5. 企业包3. 支持的平台4. 要求官方文档地址:Getting Started with Fluent Bit官方文档地址:Upgrade Notes官方文档地址:Supported Platforms官方文档地址:Requirements官方文档地址:Sourc原创 2021-07-23 00:20:50 · 1806 阅读 · 2 评论 -
【官方文档】Fluent Bit 概念
文章目录关键概念事件或记录(Event or Record)过滤(Filtering)标签(Tag)时间戳(Timestamp)匹配(Match)结构化消息(Structured Messages)缓冲官方文档地址:Key Concepts官方文档地址:Buffering官方文档地址:Data Pipeline关键概念有几个关键概念对于理解 Fluent Bit 的操作方式非常重要。在进入 Fluent Bit 之前,最好先了解一下该服务的一些关键概念。本文对这些概念和常见的 Fluent原创 2021-07-22 01:10:29 · 4359 阅读 · 1 评论 -
【官方文档】Fluent Bit 简介
文章目录什么是 Fluent Bit ?Fluent Bit 简史Fluentd & Fluent Bit许可证官方文档地址:What is Fluent Bit ?官方文档地址:A Brief History of Fluent Bit官方文档地址:Fluentd & Fluent Bit官方文档地址:License什么是 Fluent Bit ?Fluent Bit 是 CNCF 在 Fluentd 旗下的一个子项目。Fluent Bit 是一个开源、多平台的日志处理原创 2021-07-21 23:23:10 · 4999 阅读 · 0 评论 -
【官方文档】Fluent Bit 1.8 官方文档
文章目录产品特点Fluent Bit,Fluentd,CNCF高性能日志和指标处理器。Fluent Bit 是一个快速和轻量级的日志和指标处理器,也是 Linux,OSX,Windows 和 BSD 家族操作系统的转发程序。它注重性能,可以很容易地从不同来源收集事件。产品特点高性能数据解析使用我们的解析器转换非结构化消息:JSON,Regex,LTSV 和 Logfmt指标收集(普罗米修斯兼容)可靠性和数据完整性安全性:内置 TLS / SSL 支持异步 I / O可原创 2021-07-21 22:24:54 · 944 阅读 · 0 评论 -
【官方文档】Fluentd 输出插件(elasticsearch)
文章目录1. 安装2. 配置示例3. 插件助手4. 参数4.1. @type(必须的)4.2. host(可选的)4.3. port(可选的)4.4. hosts(可选的)4.5. user, password(可选的)4.6. scheme(可选的)4.7. path(可选的)4.8. index_name(可选的)4.9. logstash_format(可选的)4.10. @log_level(可选的)4.11. logstash_prefix(可选的)5. 杂项6. 常用的输出 / 缓冲区参数7.原创 2021-07-28 00:10:29 · 7563 阅读 · 1 评论 -
【官方文档】Fluentd 输入输出插件(kafka)
文章目录1. 安装2. 要求3. 使用3.1. 公共参数3.1.1. SSL 认证3.1.2. SASL 认证3.2. 输入插件(@type 'kafka')3.3. 输入插件(@type 'kafka_group',支持 kafka group)3.4. 输入插件(@type 'rdkafka_group',支持 kafka consumer groups,使用 rdkafka-ruby)3.5. 输出插件负载均衡插件 GitHub 地址:fluent-plugin-kafka参考博文地址:Fluen原创 2021-08-03 23:48:13 · 4058 阅读 · 2 评论 -
【官方文档】Fluentd 使用容器部署(Kubernetes)
文章目录1. 准备开始2. Fluentd DaemonSet2.1. 获取 Fluentd DaemonSet 源2.2. DaemonSet 内容3. 日志记录到 Elasticsearch官方文档地址:KubernetesKubernetes 为应用程序和集群日志提供了两个日志端点:用于谷歌云平台的 stackdriver 日志。Elasticsearch。这些场景的背后,都有一个日志代理负责日志收集、解析和分发:Fluentd。本文档重点介绍如何在 Kubernetes 中部署原创 2021-08-06 23:10:41 · 2999 阅读 · 0 评论 -
【官方文档】Fluentd 安装前的配置
文章目录1. 配置 NTP2. 增加文件描述符的最大数量3. 优化网络内核参数4. 使用粘位符号链接 / 硬链接防护官方文档地址:Before Installation在安装 Fluentd 之前,请确保正确设置环境,以避免在稍后阶段出现任何不一致。遵循这些建议:配置 NTP。增加文件描述符的最大数量。优化网络内核参数。1. 配置 NTP强烈建议您在节点上设置一个 NTP 守护进程(例如 chrony、ntpd ),以获得准确的当前时间戳。这对于所有生产级日志服务都是至关重要的。对于原创 2021-08-06 23:53:27 · 694 阅读 · 0 评论 -
【官方文档】Fluentd 通过 RPM 包安装在 Red Hat Linux
文章目录1. td-agent 是什么?2. calyptia-fluentd 是什么?3. 用于安装 td-agent3.1. 步骤 0:安装前3.2. 步骤 1:从 rpm Repository 安装3.2.1. Red Hat / CentOS3.2.2. Amazon Linux3.3. 步骤 2:启动 Daemon官方文档地址:Install by RPM Package (Red Hat Linux)本文解释如何安装td-agent rpm 包,这是由 Treasure Data, In原创 2021-08-07 21:02:56 · 1039 阅读 · 0 评论 -
在 Kubernetes 上部署 Fluentd 集群消费 Kafka 消息存储到 Elasticsearch
文章目录1. 制作安装 Fluentd 的 CentOS 镜像1.1. install-fluentd.sh1.2. fluentd-dockerfile1.3. td-agent-dockerfile2. K8S 部署过程2.1. 配置字典创建配置文件2.2. 工作负载创建部署文件2.3. 启动集群可以参考我翻译的官方相关文档:官方 Fluentd 1.0 文档。里面有对用到的插件的配置的详细介绍。1. 制作安装 Fluentd 的 CentOS 镜像本来还要安装 fluent-plugin-k原创 2021-08-11 09:52:45 · 1434 阅读 · 0 评论 -
在 Kubernetes 上部署 Fluent Bit 收集日志发送到 Kafka
文章目录1. 文件下载2. 文件修改2.1. fluent-bit-service-account.yaml2.2. fluent-bit-role.yaml2.3. fluent-bit-role-binding.yaml2.4. fluent-bit-configmap.yaml2.5. fluent-bit-ds.yaml3. 部署服务4. 进行测试可以参考我翻译的官方相关文档:Fluent Bit 安装在 Kubernetes。使用 kubectl version 命令,输出的信息会显示 cl原创 2021-08-10 09:46:01 · 2035 阅读 · 0 评论 -
在 CentOS 上部署 Fluent Bit 收集日志发送到 Kafka
文章目录1. 文件上传2. 开始安装3. 启动关闭4. 配置修改参考官方安装文档:Fluent Bit 安装在 Linux1. 文件上传先将 td-agent-bit.repo 文件上传到 /etc/yum.repos.d 目录下,文件内容为:[td-agent-bit]name = TD Agent Bitbaseurl = https://packages.fluentbit.io/centos/7/$basearch/gpgcheck=1gpgkey=https://packages原创 2021-08-05 20:00:43 · 1641 阅读 · 0 评论