5 flume sqoop azkaban

flume

在一个完整的离线大数据处理系统中，除了hdfs+mr+hive组成的分析系统的核心，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，在hadoop生态系统中都有便捷的开源框架。

Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件、socket数据包、文件、文件夹、kafka等各种形式的源数据，又可以将采集到的数据（下沉sink）输出到HDFS、hbase、hive、kafka等众多外部存储系统中。

核心的角色agent，flume采集系统就是由一个个agent所连接形成的。
每一个agent相当于一个数据传递员，内部有三个组件。
source：采集组件，用于跟数据源对接，以获取数据
sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据。
channel：传输通道组件，用于从source将数据传递到sink



采集需求：某服务器的特定目录下，会不断产生新的文件，每当有新文件出现，需要把文件采集到HDFS
中去。
根据需求，首先定义以下3大要素：

1. 数据源组件，即source—监控文件目录：spooldir。
   监控一个目录，只要目录中出现新文件，会采集文件中的内容。采集完成的目录，会agent自动添加一个后缀completed。可靠，不会丢失数据。
   注意：所监视的目录中不允许有相同的文件，且不能修改，不能重名。
2. 下沉组件 sink ----hdfs文件系统：hdfs sink
3. 通道组件 channel

sqoop

Hadoop和关系型数据库之间传输数据的工具。
导入数据：将Mysql、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。
导出数据：从Hadoop的文件系统中导出数据到关系数据库。

任务：

将导入和导出的命令翻译成mr程序实现。
在翻译出的mr中主要对inputformat和outputformat进行定制。

azkaban

工作流调度器

Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban由三部分构成

• 1、Azkaban Web Server
  提供了Web UI，是azkaban的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。
• 2、Azkaban Executor Server
  负责具体的工作流和任务的调度提交
• 3、Mysql
  用于保存项目、日志或者执行计划之类的信息