flume实时收集日志到kafka

最新推荐文章于 2023-12-24 12:33:57 发布

likeChocolates

最新推荐文章于 2023-12-24 12:33:57 发布

阅读量2k

点赞数 1

分类专栏： flume

本文链接：https://blog.csdn.net/likechocolates/article/details/75116364

版权

本文介绍了如何使用Flume版本1.7.0实时收集多个Apache Tomcat日志文件，并将数据发送到Kafka 0.8.2版本的logs主题中。配置包括设置多个exec数据源来跟踪不同Tomcat实例的日志，内存通道存储数据，并配置KafkaSink作为数据输出。通过Shell脚本和crontab定时更新配置文件，以适应每日日志文件名的变化。

摘要由CSDN通过智能技术生成

Flume实时收集日志
kafka版本0.8.2
1.版本apache-flume-1.7.0-bin.tar.gz
解压后conf 目录下配置以.conf结尾的文件如(flume_properties.conf)
2.配置文件信息
// sources 数据源每增加一个添加即可
a1.sources = r1 r2 r3 r4 r5
//数据输出方式
a1.sinks = k1
//数据汇聚存储方式
a1.channels = c1

//收集数据类型 exec为监控输出文件
a1.sources.r1.type = exec
//文件的路径
a1.sources.r1.command=tail -F apache-tomcat-0/logs/catalina.2017-03-08.out
//增加每一个数据源都需要配置
a1.sources.r2.type = exec
a1.sources.r2.command=tail -F apache-tomcat-1/logs/catalina.2017-03-08.out

a1.sources.r3.type = exec
a1.sources.r3.command=tail -F apache-tomcat-2/logs/catalina.2017-03-08.out

a1.sources.r4.type = exec
a1.sources.r4.command=tail -F apache-tomcat-3/logs/catalina.2017-03-08.out

a1.sources.r5.type = exec