第一步:因为我们最终需要将文件导入到HDFS
但是我们第一步先使用LoggerSink,和HDFS无关。
在job目录下创建一个配置文件file-flume-logger.conf
我们用的还是logger sink:
绑定还是一样:
我们这里需要使用 exec Source
这些黑体的配置一定要配置,非黑体的参数不一定要配置。
需要将netcat修改成exec
因为我们这里是准备监控一个本地文件,不需要用到bind和port
我们需要的是一个command配置:
监控本地文件的命令是:tail -f
监控hive的日志文件:
官网上给的例子:tail -F
我们自己写的tail -f
大写的F:失败了会重试
小写的f:监控任务失败了就失败了。默认先读后面10行数据。
所以,这个是我们最后的配置文件
因为等会儿需要开启hive,所以先把hadoop开启来