Flume文件配置及数据迁移

一.flume文件配置

1.首先切换到flume配置目录下。

 2.编辑配置文件。

3.通过flume官网对文件进行配置， 分别找到Exec Source，Memory Channel，HDFS Sink。​​​​​​​​​​​​​​

Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了https://flume.liyifeng.org/

 Exec Source

 Memory Channel

HDFS Sink

 

4.配置文件。

5.退出并保存。 

二.数据迁移

1.复制标签并启动hadoop集群。

2.查看进程。

3. 切换到Python脚本文件。

4.执行python脚本，输入指令python project1.py，并生成user_shopping_behavior.txt

5.切换到flume配置目录下，并启动flume配置文件。

6.加入HDFS网页，并查看HDFS文件。

7.进入根目录，找到Flume文件夹。

8.进入到数据文件目录。

9.点击下载（Download）。

10.下载完以后通过记事本打开。

11.最后结束flume数据采集，以及关闭hadoop集群。