1.传统的关系型数据库的数据流程
(1)RDBMS==>Sqoop(抽取出来)==>Hadoop()
如果是数据量较大,且需要采集,这个时候Flume出来了,提供三点
collecing 采集 source
aggregating 聚合 channel(暂时理解为找个地方比采集来的数据存储一下)
moving 移动 sink
2.学习Flume的重点
(1)我们只需要明白如何编写配置文件,组合source、channel、sink三者之间的关系
Agent:他就是source、channel、sink三者组合在一起
编写Flume的配置文件,就是编写Agent的构成。
3.Flume安装部署
1) 下载 //在进入cdh5的时候有时候他是会卡的,要等待一下或者干掉重来
2) 解压到~/app tar -xzvf xxx -C xxx目录 将这个文件解压到指定目录
3) 添加到系统环境变量 ~/.bash_profile
export FLUME_HOME=/home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH
4) $FLUME_HOME/conf/flume-env.sh
JAVA_HOME
4.如何使用flume
(1)造句模板