我的大数据之路 - Flume 案例：监听上传Hive日志文件到HDFS

目录

Goal：监听上传Hive日志文件到HDFS

How：

1.拷贝Hadoop相关jar到Flume的lib目录下：

2.创建flume-hive-hdfs.conf文件：

3.开启你的集群然后执行监控配置：

Done：

---

 

作为一个程序员，郁闷的事情是，面对一个代码块，却不敢去修改，更糟糕的是，这个代码块还是自己写的。--摘自前端入门到精通

 

Goal：监听上传Hive日志文件到HDFS

类似如下情景，hive产生的日志通过Flume上传到HDFS上。

How：

1.拷贝Hadoop相关jar到Flume的lib目录下：

hadoop相关jar包目录在hadoop下：

share/hadoop/common/lib/hadoop-auth-2.5.0-cdh5.3.6.jar
share/hadoop/common/lib/commons-configuration-1.6.jar
share/hadoop/common/hadoop-common-2.5.0-cdh5.3.6.jar
share/hadoop/mapreduce1/lib/hadoop-hdfs-2.5.0-cdh5.3.6.jar

Flume的lib目录：[你存放flume的根目录]/apache-flume-1.5.0-cdh5.3.6-bin/lib