flum静态拦截器

本文介绍了如何使用 Flume 将 A、B 机器上的 access.log、nginx.log、web.log 日志文件汇总到 C 机器,并进一步存入 HDFS 的特定目录结构中。配置过程中需要注意预先创建对应的目标目录,而文件会由 Flume 自动创建。通过在 A、B 机器上模拟生成日志并启动 Flume 进程,可以在 C 机器的 HDFS 监控页面观察到日志文件的实时更新。
摘要由CSDN通过智能技术生成

现在要求:
把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上
然后统一收集到 hdfs 中。
但是在 hdfs 中要求的目录为:
/source/logs/access/20190101/**
/source/logs/nginx/20190101/**
/source/logs/web/20190101/**
需求原理解析

① 在服务器 A 和服务器 B 上 创建配置文件 exec_source_avro_sink.conf 
 
# Name the components on this agent
 a1.sources = r1 r2 r3 a1.sinks = k1 a1.channels = c1 
 
# Describe/configure the source 
a1.sources.r1.type = exec a1.sources.r1.command = tail -F /root/data/access.log a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = static ##  static 拦截器的功能就是往采集到的数据的 header 中插入自 ##  己定义的 key-value 对 a1.sources.r1.interceptors.i1.key = type a1.sources.r1.interceptors.i1.value = access 
 
a1.sources.r2.type = exec 
a1.sources.r2.command = tail -F /root/data/nginx.log
 a1.sources.r2.interceptors
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值