flume采集日志文件到hdfs

最新推荐文章于 2024-04-12 21:01:24 发布

jjkang_

最新推荐文章于 2024-04-12 21:01:24 发布

阅读量3k

点赞数 1

分类专栏：大数据大数据之路文章标签： flume

本文链接：https://blog.csdn.net/jjkang_/article/details/89187021

版权

本文介绍了如何利用Flume从正在输出的日志文件中实时采集数据，并将其存储到HDFS中。详细过程包括配置文件设置、启动命令的执行以及运行结果的展示，实现了日志数据的持续增量存储。

摘要由CSDN通过智能技术生成

flume采集日志文件到hdfs

配置文件
启动命令
运行结果

flume可以从正在输出的日志文件中采集数据存到hdfs中

配置文件

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# Describe/configure tail -F source1
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /root/app/hadoop-2.6.4/logs/hadoop-root-namenode-zk1.log
agent1.sources.source1.channels = channel1

#configure host for source
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname

# Describe sink1
agent1.sinks.sink1.type = hdfs
#a1.sinks.k1.channel = c1
agent1.sinks.sink1.hdfs.path =hdfs://zk1:9000/weblog/flume-collection/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = access_log
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
ag