北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

CDH配置启动flume

目录:

一、如何使用flume

二、进入配置管理

三、关于配置文件

四、flume二次开发

—————————————————————————————————————-

请提前参考我的Flume博客:

http://blog.csdn.net/silentwolfyh/article/category/6186343

一、如何使用flume

在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数

二、进入配置管理

这里写图片描述

三、关于配置文件

有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,

原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,

cloudera-monitor.properties文件内容
[agent]
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
这里写图片描述

flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1

tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false

tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1

tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint

tier1.channels.c1.dataDirs=./file_channel/data

四、flume二次开发

根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。

二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink

       如果您喜欢我写的博文,读后觉得收获很大,不妨小额赞助我一下,让我有动力继续写出高质量的博文,感谢您的赞赏!!!

阅读更多
版权声明:本文为博主原创文章,出处为 http://blog.csdn.net/silentwolfyh https://blog.csdn.net/silentwolfyh/article/details/53995962
个人分类: 【大数据】Flume
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

CDH配置启动flume

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭