Hadoop的基本框架

1、Hadoop的整体框架

Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。

?

（1）Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口；

（2）Hive是基于Hadoop的一个工具，提供完整的SQL查询，可以将sql语句转换为MapReduce任务进行运行；

（3）ZooKeeper:高效的，可拓展的协调系统，存储和协调关键共享状态；

（4）HBase是一个开源的，基于列存储模型的分布式数据库；

（5）HDFS是一个分布式文件系统，有着高容错性的特点，适合那些超大数据集的应用程序；

（6）MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

下图是一个典型的Hadoop集群的部署结构：

?

接着给出Hadoop各组件依赖共存关系：

?

2、Hadoop的核心设计