Hadoop项目简述

1. Common：（辅助工具）一组分布式文件系统和通用I/O的组件与接口（序列化、Java RPC和持久化数据结构）。
2. Avro：一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。
3. MapReduce：（计算）分布式数据处理模型和执行环境，运行于大型商用机集群。
4. HDFS（hadoop distributed filesystem）：（数据存储）分布式文件系统，运行于大型商用机集群（HDFS是为高数据吞吐量应用优化的，这可能会以高时间延迟为代价）。
5. Pig：一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
6. Hive：一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）用以查询数据。
7. HBase：一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）（对于低延迟的的访问需求，HBase是更好的选择）。
8. ZooKeeper：一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
9. Sqoop：在数据库和HDFS之间高效传输数据的工具。