a2.sources = r2
a2.sinks = k2
a2.channels = c2
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
a2.sources.r2.shell = /bin/bash -c
a2.sinks.k2.type = hdfs
本文档详细介绍了如何配置Flume来实时监控并把/opt/module/hive/logs/hive.log的日志文件传输到HDFS。配置中，Flume agent名为a2，源r2采用exec类型，监听hive.log的更新；sink k2设置为hdfs类型，数据保存路径为hdfs://hadoop102:8020/flume按日期和小时划分目录，文件名前缀为logs-，并设定了一系列滚动策略。此外，使用了内存通道c2进行数据缓冲。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
