cdh5.5.1 配置启动flume

1 篇文章 0 订阅
一、如何使用flume

在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数

二、关于配置文件
有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,

原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,

cloudera-monitor.properties文件内容

[agent]
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1



flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1

tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false

tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1

tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint

tier1.channels.c1.dataDirs=./file_channel/data


三、flume二次开发

根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。

二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值