Hadoop简介

 Hadoop是一个分布式计算基础设施，它包含一系列相关的子项目，这些项目都隶属于Apache软件基金会（ASF）。ASF为这些开源社区项目提供支持。Hadoop里最著名的是MapReduce和分布式文件系统（HDFS），其他的子系统提供了一些附加功能，或者在core上增加了一些高级的抽象。

 

 

Core

 

分布式系统和通用IO组件和接口（序列化，Java 远程过程调用等等）。

 

Avro

 

支持跨语言过程调用，持久数据存储的数据序列化系统。

 

MapReduce

 

构建在廉价的PC机器上的分布式数据处理模型和运行环境。

 

HDFS

 

构建在廉价的PC机器上的分布式文件系统。

 

Pig

 

处理海量数据集的数据流语言和运行环境。pig运行在HDFS和MapReduce之上。

 

HBase

 

分布式，面向列的数据库。HBase使用HDFS作为底层存储，同时使用MapReduce支持批处理模式的计算和随机查询。

 

ZooKeeper

 

提供分布式、高效的协作服务。ZooKeeper提供分布式锁这样的原子操作，可以用来构建分布式应用。

 

Hive

 

分布式数据仓库，Hive使用HDFS存储数据，提供类似SQL的语言（转换为MapReduce任务）查询数据。

 

Chukwa

 

    分布式数据采集和分析系统。使用HDFS存储数据，使用Mapreduce输出分析报告。