hadoop家族成员

Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)

其主要成员为

HDFS

HDFS是一种用于Hadoop应用程序的主存储系统，也是一个高容错性系统，适合部署在廉价机上，同时，HDFS能提高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS为了做到可靠性创建了多份数据块的复制，并将它们放置在服务器群的计算节点中，MapReduce就可以在它们所造的几点上处理这些数据了。

HDFS默认的最基本的存储单位是64M的数据块。

HDFS主要由NameNode和DataNode组成， NameNode是HDFS中负责namespace管理的节点，NameNode保存了当前集群中所存储的的所有的文件的元数据信息，NameNode同时与集群中其它的节点通信，以保持元数据与系统中的文件的一致性，同时也和 client通信，以响应client对文件的需要。DataNode是文件系统的工作节点，他们根据客户端或者是DataNode的调度存储和检索数据，并且定期向DataNode发送他们所存储的块(block)的列表。

MapReduce

MapReduce是一种处理海量数据的并行编程模型和计算框架，主要用于大数据集的并行计算。

主要分为两个阶段，分别为

Map阶段：

MapReduce框架将任务的输入分割成固定大小的片段（splites），随后将每个splite进一步分解成一批键值对<K1,V1>。 Hadoop为每个split创建一个Map任务用于执行用户自定义的Map函数，并将对应split中的<K1,V1>对作为输入，得到计算的中间结果<K2,V2>，接着将中间结果按照K2进行排序，并key值相同的value放在一起形成<K2,list(V2)>元组。最后在根据key值的范围进行分组，分配到不同的Reduce任务。

Reduce阶段：

Reducer把从不同Mapper接收来的数据整合在一起并进行排序，然后调用用户自定义的reduce函数，对输入<K2,list(V2)>对进行处理，得到键值对<K3,V3>并输出到HDFS上。job.setNumReduceTask()方法设置reduce数。

Zookeeper

Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Hbase

HBase是Hadoop的数据库。能对大型数据提供随即、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的、分布式的、多版本的、面向列的存储模型。它存储的是松散型数据。

HBase是Google BigTable的开源实现。Google BigTable利用 GFS 作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google 运行 MapReduce来处理BigTable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google BigTable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

Pig

Pig是SQL-like（类SQL）语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。

Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句块快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库。

Chukwa

Chukwa是由Yahoo贡献，基于Hadoop的大集群监控系统，可以用他来分析和收集系统中的数据(日志)。Chukwa运行HDFS中存储数据的收集器和MapReduce框架之上，并继承了Hadoop的可扩展性和鲁棒性，Chukwa使用MapReduce来生成报告，他还包括一个用于监测和分析结果显示的web-portal工具，通过web-portal工具使这个收 集数据的更佳具有灵活性。