nc 监听数据_利用Flume导入实时数据到Hadoop集群

主要包括两大步骤，首先验证Flume安装是否成功，其次是将数据写入HDFS中。

将Flume安装在master上，用slave登陆master进行操作。

1、将apache-flume-1.7.0-bin.tar.gz导入到wangmaster主机/opt/bigdata/目录下，解压缩。

[hadoop@wangmaster bigdata]$ tar -zxvf apache-flume-1.7.0-bin.tar.gz

2、进入apache-flume-1.7.0-bin/conf目录，复制flume-env.sh.template为flume-env.sh文件。

[hadoop@wangmaster bigdata]$ cd apache-flume-1.7.0-bin/conf/

[hadoop@wangmaster conf]$ sudo cp flume-env.sh.template flume-env.sh

3、编辑flume-env.sh配置文件，取消红线的注释符号，在JAVA_HOME中输入本机的JDK路径，我的JDK目录为/opt/bigdata/jdk1.8/。

[hadoop@wangmaster conf]$ sudo vim flume-env.sh

4、配置flume-conf.properties文件，将flume-conf.properties.template模板文件复制一份为 flume-conf.properties。

[hadoop@wangmaster conf]$ sudo cp flume-conf.properties.template flume-conf.properties

5、新建/home/presto/log/目录并授予相应的权限。

[hadoop@wan