CDH配置启动flume

856人阅读 评论(0) 收藏 举报
分类:

目录:

一、如何使用flume

二、进入配置管理

三、关于配置文件

四、flume二次开发

—————————————————————————————————————-

请提前参考我的Flume博客:

http://blog.csdn.net/silentwolfyh/article/category/6186343

一、如何使用flume

在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数

二、进入配置管理

这里写图片描述

三、关于配置文件

有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,

原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,

cloudera-monitor.properties文件内容
[agent]
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
这里写图片描述

flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1

tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false

tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1

tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint

tier1.channels.c1.dataDirs=./file_channel/data

四、flume二次开发

根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。

二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink

       如果您喜欢我写的博文,读后觉得收获很大,不妨小额赞助我一下,让我有动力继续写出高质量的博文,感谢您的赞赏!!!

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    【个人简介】
    个人资料
    • 访问:362503次
    • 积分:6519
    • 等级:
    • 排名:第3939名
    • 原创:283篇
    • 转载:23篇
    • 译文:24篇
    • 评论:76条
    博客专栏