大数据生态圈框架集合

Flume框架：是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于Flume构建高容错高可靠的分布式数据采集平台。
日志源–>source–>channel–>sink–>HDFS

agent：就是一个JVM的进程，里面包含source，channel，sink

source:采集或读取日志的组件，不同的数据源使用不同的source

channel:缓冲区，让source和sink可以在不同速率上运行

sink:负责日志的写出的组件

event：在flume里面传输的是event传输单元，header和body组成，body 里面存放数据的字节数组，header里面默认空，需要手动添加

Flume框架教程：

大数据Flume教程丨大数据业务及数据采集和迁移需求

Sqoop框架：大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于
Sqoop构建高性能的分布式数据迁移和同步平台。
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。