Hadoop子项目中最出名的是MapReduce和HDFS,还有Core、Avro、Pig、Hbase、Zookeeper、Hive和Chukwa这几
子项目:
MapReduce: 分布式数据处理模式和执行行环境,运行于大型商用机集群。
HDFS: 前身是NDFS,分布式文件系统,运行于大型商用机集群。
Core: 一系列分布式文件系统和通用I/O的组件和接口(序列化、java RPC和持久化数据结构)。
Avro: 一种提供高效、跨语言RPC的数据序列系统,持久化数据存储。
Pig: 一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hbase: 一个分布式的,列存储数据库,使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。
Zookeeper: 一个分布式的、高可用的协调服务。Zookeeper提供分布式锁之类的基本服务用于构建分布式应用。
Hive: 分布式数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据。
Chukwa: 分布式数据收集和分析系统,运行HDFS中存储数据的收集器,使用MapReduce来生成报告。