Flume实时收集日志
kafka版本0.8.2
1.版本apache-flume-1.7.0-bin.tar.gz
解压后conf 目录下配置以.conf结尾的文件如(flume_properties.conf)
2.配置文件信息
// sources 数据源每增加一个添加即可
a1.sources = r1 r2 r3 r4 r5
//数据输出方式
a1.sinks = k1
//数据汇聚存储方式
a1.channels = c1
//收集数据类型 exec为监控输出文件
a1.sources.r1.type = exec
//文件的路径
a1.sources.r1.command=tail -F apache-tomcat-0/logs/catalina.2017-03-08.out
//增加每一个数据源都需要配置
a1.sources.r2.type = exec
a1.sources.r2.command=tail -F apache-tomcat-1/logs/catalina.2017-03-08.out
a1.sources.r3.type = exec
a1.sources.r3.command=tail -F apache-tomcat-2/logs/catalina.2017-03-08.out
a1.sources.r4.type = exec
a1.sources.r4.command=tail -F apache-tomcat-3/logs/catalina.2017-03-08.out
a1.sources.r5.type = exec
kafka版本0.8.2
1.版本apache-flume-1.7.0-bin.tar.gz
解压后conf 目录下配置以.conf结尾的文件如(flume_properties.conf)
2.配置文件信息
// sources 数据源每增加一个添加即可
a1.sources = r1 r2 r3 r4 r5
//数据输出方式
a1.sinks = k1
//数据汇聚存储方式
a1.channels = c1
//收集数据类型 exec为监控输出文件
a1.sources.r1.type = exec
//文件的路径
a1.sources.r1.command=tail -F apache-tomcat-0/logs/catalina.2017-03-08.out
//增加每一个数据源都需要配置
a1.sources.r2.type = exec
a1.sources.r2.command=tail -F apache-tomcat-1/logs/catalina.2017-03-08.out
a1.sources.r3.type = exec
a1.sources.r3.command=tail -F apache-tomcat-2/logs/catalina.2017-03-08.out
a1.sources.r4.type = exec
a1.sources.r4.command=tail -F apache-tomcat-3/logs/catalina.2017-03-08.out
a1.sources.r5.type = exec