大数据Hadoop生态圈【1】

1、Hadoop 1.0的构架

 HDFS :分布式文件的存储。

YARN:数据处理的资源调度器，负责调度内存CPU带宽等计算资源。

MapReduce：做实时的离线批处理的工具，基于磁盘的。

Tez：优化和分析mapreduce的作业，构建成一个有向无环图，保证处理效率

Spark：与Mapreduce类似，不过是基于内存的处理速度更快。

Hive：实现数据仓库的功能，支持SQL，但是会把SQL语句转换成一堆的MapReduce作业在执行。

Pig: 处理流数据的处理，轻量级的分析，相对与mapreduce简单化。

Oozie：作业流调度系统，把完整的工作会分成很多工作细节

Zookeeper：动物园管理员，分布式协调一致性服务。

Hbase：分布式文件系统，非关系型的分布式数据库，做顺序读写的，随机读写。

Flume：日志搜集用的，在做流式数据分析的时候用的。

Sqoop：数据导入导出的。很多企业传统数据库的导入导出Hadoop用的。

                                                

 Ambari：快速部署工具，在hadoop上智能化地去部署和管理一整套hadoop平台上的套件