Hadoop简介

Apache Hadoop 是一个可靠的，可伸缩的，分布式计算的开源项目。
Apache Hadoop软件库是一个框架，允许大型数据集使用简单的编程模型在计算机集群的分布式处理。它的目的是从单一的服务器扩展到成千上万的机器，每个提供本地计算和存储。而不是依靠硬件来提供高可用性，库本身的目的是检测和处理应用层的故障，所以提供了一个高度可用的服务上的计算机集群。

项目主要包含以下模块:
1、 Hadoop Common: 支持一起hadoop模块，也就是核心库。
2、 Hadoop Distributed File System (HDFS): 分布式文件系统，提供对应用程序数据的高吞吐量访问。
3、 Hadoop YARN: 作业调度和集群资源管理的框架。
4、 Hadoop MapReduce: 基于YARN的大数据集并行处理系统。

Apache的其他Hadoop相关项目包括：
1、 Ambari：用于配置，管理和监控Apache Hadoop集群的基于Web的工具，包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。 Ambari还提供了一个用于查看群集健康的仪表板，如热图，以及以视觉方式查看MapReduce，Pig和Hive应用程序的功能，以便以用户友好的方式诊断其性能特征。
2、 Avro： 数据序列化系统。
3、 Cassandra： 一个可扩展的多主数据库，没有单点故障。
4、 Chukwa： 用于管理大型分布式系统的数据收集系统。
5、 HBase： 一个可扩展的分布式数据库，支持大型表的结构化数据存储。
6、 Hive： 提供数据汇总和及时查询的数据仓库基础架构。
7、 Mahout：可扩展的机器学习和数据挖掘库。
8、 Pig：用于并行计算的高级数据流语言和执行框架。
9、 Spark： Hadoop数据的快速和通用计算引擎，Spark提供了一个简单和表达性的编程模型，支持各种应用程序，包括ETL，机器学习，流处理和图形计算。
10、 Tez：一个基于Hadoop YARN的通用数据流编程框架，它提供了一个强大而灵活的引擎来执行任务的任意DAG，以便为批处理和交互式用例处理数据。 Tez被Hive，Pig和Hadoop生态系统中的其他框架以及其他商业软件（如ETL工具）采用，以取代Hadoop MapReduce作为底层执行引擎。
11、 ZooKeeper：针对分布式应用程序的高性能协调服务。

参考资料：
http://hadoop.apache.org/