Fluentd (td-agent) 日志收集系统

最新推荐文章于 2024-05-25 09:57:17 发布
最新推荐文章于 2024-05-25 09:57:17 发布
阅读量2.4w 收藏 5
点赞数 1
分类专栏： 日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/virusfu/article/details/9023237
版权
本文介绍了Fluentd，一个可定制的日志收集系统，它支持多种存储插件如MongoDB, Redis等。文章详细阐述了Fluentd的安装过程，包括创建yum仓库、安装td-agent、启动服务，并提到了td-agent的配置文件和日志文件位置。此外，还讲解了如何安装和配置Fluentd插件，特别是tail和tail_multiline插件，以及如何设置日志来源和输出到MongoDB。最后，文章提及了Fluentd的高可用性和对Java应用的支持。" 100534072,8655481,Kubernetes架构详解：组件与核心概念,"['Kubernetes', '容器编排', '资源调度', '弹性伸缩', '服务发现']
摘要由CSDN通过智能技术生成

Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。

目前开源社区已经贡献了下面一些存储插件：MongoDB, Redis, CouchDB,AmazonS3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl等等。


安装

可参考http://docs.fluentd.org/categories/installation安装

此版本采用: Installingtd-agent for Redhat and CentOS  

http://docs.fluentd.org/articles/install-by-rpm

Fluentd 是由Ruby和C编写的，需要ruby进行，然而安装td-agent 是fluentd 的易安装版本，不用考虑太多的依赖关系。

1.首先please create /etc/yum.repos.d/td.repo with the followingcontents.

[treasuredata]
name=TreasureData
baseurl=http://packages.treasure-data.com/redhat/$basearch
gpgcheck=0
Then,you can install via yum command.

2. $ yumupdate
$ yuminstall td-agent

3. 安装完成后，可使用以下方式启动关闭服务。

$ /etc/init.d/td-agent start 

  $ /e

最低0.47元/天 解锁文章
VirusFu
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Fluentd(td-agent)+Nginx 搭建日志收集系统
linclaus的博客
03-01 5889
Fluentd是一个日志收集系统，可以指定多种日志来源，并且配置处理规则，到最后可以输出到不同的持久化系统。EFK就是其典型的应用场景，将日志收集并输出到ElasticSearch中。 本文的目的在于搭建一套收集Nginx产生的日志，并配置td-agent配置source type为tail的方式，从日志文件中实时收集数据，最后将日志信息经过特定的处理发送到Microsoft的EventHub消息...
td-agent(Fluentd)的使用
qq_43812373的博客
02-19 4615
Table of Contents td-agent是做什么用的 td-agent如何安装 td-agent插件 Demo 常见的问题： td-agent是Fluentd的稳定发行版本，它的出现是因为Fluentd不易于安装。本质上td-agent和Fluentd是一个东西。 td-agent是做什么用的 简单来说就是收集日志用的，把服务器上的日志收集起来，发送到指定的地方，统一管理分析，功能比较强大，如官方图所示： 它可以收集常用服务，如apache,db等日志，也可以收集由不同语言实现的app日志，对于
Fluentd (td-agent) 日志处理
优秀的程序员不应该是CRUD
01-22 5928
1、td-agent是什么 td-agent是一个日志采集器，提供了丰富的插件来适配不同的数据源、输出目的地等 在使用上，我们可以把各种不同来源的信息，通过简单的配置，将日志收集到不同的地方，首先发送给Fluentd，接着Fluentd根据配置通过不同的插件把信息转发到不同的 地方，比如文件、SaaS Platform、数据库，甚至可以转发到另一个Fluentd。 2、如何安装td-agent Linux系统：centos 2.1 执行脚本 curl -L https://toolbelt.treasur
Node.js中的流利日志记录器：fluent-logger
最新发布
gitblog_00008的博客
05-25 411
Node.js中的流利日志记录器：fluent-logger fluent-logger-nodeA structured logger for Fluentd (Node.js)项目地址:https://gitcode.com/gh_mirrors/fl/fluent-logger-node 1、项目介绍 fluent-logger 是一个专门为Node.js设计的轻量级库，它为应用程序提供了...
fluent-agent-lite:轻量级的日志传递代理可以流畅地工作
05-15
精通流利剂 描述 “ fluent-agent-lite”是日志传输代理，用于Fluentd的“转发”输入。 该代理读取指定的文件，并将每行发送到流利的服务器。 一条日志行将打包一条流利的消息，该消息具有一条属性（“消息”或在配置中指定），并且整行（不以换行符终止）。 版本 1.0 包装球 要获取最新标签版本的tarball： make -f Makefile.package 在tmp/archive/fluent-agent-lite-vX.Y.tar.gz 。 为此，版本（标签）必须为v1.0而不是v0.10（用于排序顺序）... 安装 在RHEL / CentOS上，您可以使用.spec文件和自定义的默认配置文件来构建rpm。 RHEL / CentOS 要构建您的rpm软件包，请执行以下5个步骤。 下载（最新版本）tarball，并将其放在SOURCES /上。 下
td-agent 安装，配置，采集日志到postgresql
高矮
01-30 3018
系统版本：ubuntu 16.04 td-agent版本：2.1.0 postgresql版本：10.0 安装td-agent: curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent2.sh | sh 配置td-agent小版本：vi /lib/systemd/system/td-agent....
td-agent-3.7.1-0-x64.zip
04-29
标题中的“td-agent-3.7.1-0-x64.zip”指的是Fluentd的Windows MSI安装包的压缩文件，版本为3.7.1，适用于64位操作系统。Fluentd是一款开源的数据收集系统，它允许用户从各种来源高效地收集、转换和转发日志、指标和...
docker-td-agent:ubuntu 上 td-agent 的简单 docker 容器
06-27
Docker td-agent Docker 镜像： fluent-plugin-elasticsearch fluent-plugin-record-modifier 流利的插件排除过滤器 默认情况下什么都不做。.../var/log/td-agent/ : td-agent 日志目录 默认 fluent.conf 参见：
fluentd-ui:Web页面的Fluentd
04-13
fluentd v1.0.0或更高版本（还支持td-agent 3） 当前，fluentd v1和td-agent 3支持处于Alpha状态 和一些其他软件包（Debian / Ubuntu） 必要的 libssl开发 libxml2-dev libxslt1-dev Ruby开发 如何安装和运行 $ ...
ansible-fluentd:在 Ubuntu 上通过 Ansible 安装和配置 fluentd
07-12
这个 ansible 角色安装了 td-agent，即的发行。 该剧本在 Ubuntu 12.04 x86_64 上进行了测试。 特征 安装流利 使用 monit 监控 fluentd 待办事项： 运行手册 示例设置 在 Balanced，我们使用 fluentd 作为日志传输...
fluent-plugin-azure-loganalytics：用于Fluentd的Azure Log Analytics输出插件
01-30
如果您安装了td-agent并想要添加此自定义插件，请使用td-agent-gem进行安装，因为td-agent拥有自己的Ruby，因此应将gems安装到td-agent的Ruby中，而不是系统Ruby中： $ /usr/sbin/td-agent-gem install fluent-...
fluent-plugin-redis:用于Fluent事件收集器的Redis输出插件
05-26
用于Fluent的Redis输出插件 fluent-plugin-redis是一个流利的插件，可以输出到redis。 要求 流利的插件-redis 流利的 Ruby > = 0.3.0 > = 0.14.8 > = 2.1 == 0.2.3 〜> 0.12.0 * > = 1.9 <0> = 0.10.0，<2> = 1.9 可能不支持所有将来的流利功能 安装 您要做的只是这样安装： gem install fluent-plugin-redis 然后fluent自动加载已安装的插件。 配置 例子 <match> @type redis # host localhost # port 6379 # db_number 0 # password hogefuga # insert_key_prefix '$
td-agent 收集日志到kafka的配置
bangzhen6307的博客
12-05 661
<source> @type tail path /data1/td-agent/wechat-tag*.log tag wechat-tag read_from_head true format none pos_file /var/log/td-agent/wechat-tag.pos</source> <match wechat-tag&...
td-agent和elasticsearch、kibana搭建日志平台
kwame211的博客
12-14 1316
系统版本：centos 6.4 x86.64 网络环境：我这台机器处于内网，连不了外网，所以要通过代理上 服务端：elasticsearch和kibana、Fluentd Aggregator安装在一台机器上 IP为192.168.1.5 客户端：192.168.1.6 Mysql Server         192.168.1.7：tomcat Server 架构图：   注...
java抓取日志信息_java swt客户端抓取项目中日志，配置，以及数据库信息
weixin_32047681的博客
02-23 399
没有swt的插件牛牛，请在myeclipse 安装导入，eclipse更简单，网上一大片1，项目部署上线后，经常需要看日志，配置信息，但是操作环境可能你懂得，所以直接客户端操作比较方便，后续可能试着添加一些 各自项目一键指定某某项目这样的功能，实际效果如下，1，判断当前系统是否为windows还是linux，然后根据配置文件抓项目安装部署路径，日志信息有两个，在我这边一个是svn ，一个是tomc...
Fluentd+InfluxDB java日志收集系统搭建
jy00885876的专栏
01-02 3555
<match system.*.*> type influxdb dbname test flush_interval 10s host 192.168.200.11 port 8086 </match> 这样会丢数据 要加 time_precision ns 安装Fluentd curl -L https://toolb...
td-agent安装教程
kevinsingapore的博客
04-21 2071
os:centos7.5 td-agent安装明细： 官网安装教程地址：https://docs.fluentd.org/v0.12/articles/install-by-rpm wget https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh bash install-redhat-td-agent2.sh sy...
Fluentd（td-agent）安装
zhangxihangzhuan的专栏
01-25 9604
一：安装 （1）下载td-agent-2.2.1-0.el6.x86_64.rpm,下载地址:https://td-agent-package-browser.herokuapp.com/2/redhat/6/x86_64   下载安装包到到 /export/installer/文件夹下，安装.   安装后的目录为/etc/td-agent.   （2）touch  /dev/s
win10下fluentd入门
zsx18273117003的博客
04-29 1110
官网：https://docs.fluentd.org/ 1. 安装td-agent，下载安装包，并选择默认安装 下载地址：https://td-agent-package-browser.herokuapp.com/3/windows 2. 修改安装目录下C:\opt\td-agent\etc\td-agent\td-agent.conf文件 <source> @typ...
td-agent 实现原理
04-30
td-agent 是一个基于 Fluentd 构建的日志收集器，它的实现原理与 Fluentd 基本相同。Fluentd 是一个开源的日志收集器和数据处理平台，它可以将各种不同格式的日志数据集中到一个中央位置，并对这些数据进行处理、过滤和转发。Fluentd 的数据处理模型基于消息传递，即数据被视为消息，在不同的输入和输出之间流动。 具体来说，td-agent 的实现原理如下： 1. 输入插件：td-agent 支持多种输入插件，如文件、TCP、UDP、HTTP 等。输入插件负责从各种数据源中读取日志数据，并将其转换为 Fluentd 数据格式。 2. 过滤器：td-agent 支持多种过滤器，如 grep、record_transformer、parser 等。过滤器可以对输入的日志数据进行处理、转换、过滤等操作，并将结果发送给输出插件。 3. 输出插件：td-agent 支持多种输出插件，如文件、Elasticsearch、Kafka、S3 等。输出插件负责将经过处理的日志数据发送到指定的目标位置。 4. 数据缓存：Fluentd 有一个数据缓存机制，用于存储输入插件采集的日志数据，以及经过过滤器处理后的数据。缓存可以保证数据不丢失，并且提高系统的可靠性。 5. 日志转发：td-agent 可以将处理后的日志数据转发到其他 Fluentd 节点或者其他系统，实现分布式日志处理和集中式日志管理。 总之，td-agent 的实现原理是基于 Fluentd 构建的，通过输入插件、过滤器、输出插件等组件实现日志数据的收集、处理和转发。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值