简介
Flume是一种分布式,高可靠的数据收集工具,它可以从各种类型的数据源采集汇总数据到各种类型的目的地。flume本身并不产生数据它只是数据的搬运工。相比sqoop从数据库到hdfs的数据导入导出,flume可以监控端口,监听某一个文件的变化,也可以从数据库中获取数据并上传到hdfs中。
Flume的组成分为source接收,channel通道,sink汇总,这三个部分组成一个agent,每个agent就是一个flume服务。下图就是flume官网中的截图。
部署实例
1:下载
访问官网flume.apache.org下载安装包,注意选择下载binary,source是源码。