flume监控练习二-Execsource 监控hive日志

最新推荐文章于 2022-08-21 21:59:43 发布

Drgom

最新推荐文章于 2022-08-21 21:59:43 发布

阅读量200

点赞数

分类专栏： Flume 文章标签： hive flume hadoop

本文链接：https://blog.csdn.net/qq_43662627/article/details/108952804

版权

本文介绍了如何使用Flume的ExecSource监控Hive日志。要点包括确保Linux上已启动Hadoop，配置Flume的ExecSource使用流式命令如`tail`或`cat`。由于ExecSource与日志输出的异步行为，可能会出现数据丢失问题，当输出缓冲区溢出时需注意。

摘要由CSDN通过智能技术生成

要点：
1.linux上必须有hadoop，并已经启动起来，因为使用的是hadfsink
2.在a2.sources.r2.command必须需要使用流式命令，如tail，cat，而不是如 date之类的

a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /export/servers/hive-1.2.1/logs/hive.log
a2.sources.r2.shell = /bin/bash -c

# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop01:9000/flume/%Y%m%d/%H