Hadoop项目简介

Apache Hadoop项目简介 

 

Core---- 一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构）

Avro---- 一种提供高效、跨语言PRC的数据序列化系统，持久化数据存储。

MapReduce----分布式数据处理模式和执行环境，运行于大型商用机集群；

HDFS----分布式文件系统，运行于大型商用机集群；

ZooKeeper----一个分布式的、高可用性的协调服务；

Pig---- 一种数据流语言和运行环境，用以检索非常大的数据集，运行在MapReduce和HDFS集群上；

Chukwa------ 分布式数据收集和分析系统；

Hive--- 分布式数据仓库，Hive管理HDFS中存储的数据，并提供基于SQL的查询语言用以查询数据；

Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询。

 

其中MapReduce和HDFS是Hadoop的核心