实时监控后台数据 vue_数据获取层之Flume快速入门（一） 实时监控单个追加文件...

实时监控 Hive 日志，并上传到 HDFS 中

实现步骤

1、Flume 要想将数据输出到 HDFS，必须持有 Hadoop 相关 jar 包

commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar

准备好以上这些包拷贝到/opt/module/flume/lib 文件夹下。

2、创建 flume-file-hdfs.conf 文件

进入flume下的job目录创建文件

cd /opt/module/flume/jobvim flume-file-hdfs.conf

添加如下内容

<