Flume（1）

1.传统的关系型数据库的数据流程

（1）RDBMS==>Sqoop(抽取出来)==>Hadoop()

如果是数据量较大，且需要采集，这个时候Flume出来了，提供三点

collecing      采集   source

aggregating 聚合  channel（暂时理解为找个地方比采集来的数据存储一下）

moving         移动  sink

 

2.学习Flume的重点

（1）我们只需要明白如何编写配置文件，组合source、channel、sink三者之间的关系

Agent：他就是source、channel、sink三者组合在一起

编写Flume的配置文件，就是编写Agent的构成。

3.Flume安装部署

1) 下载     //在进入cdh5的时候有时候他是会卡的，要等待一下或者干掉重来
2) 解压到~/app  tar -xzvf xxx -C xxx目录   将这个文件解压到指定目录
3) 添加到系统环境变量 ~/.bash_profile
export FLUME_HOME=/home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH
4) $FLUME_HOME/conf/flume-env.sh
    JAVA_HOME
4.如何使用flume

(1)造句模板