- Common:(辅助工具)一组分布式文件系统和通用I/O的组件与接口(序列化、Java RPC和持久化数据结构)。
- Avro:一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。
- MapReduce:(计算)分布式数据处理模型和执行环境,运行于大型商用机集群。
- HDFS(hadoop distributed filesystem):(数据存储)分布式文件系统,运行于大型商用机集群(HDFS是为高数据吞吐量应用优化的,这可能会以高时间延迟为代价)。
- Pig:一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
- Hive:一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
- HBase:一个分布式、按列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)(对于低延迟的的访问需求,HBase是更好的选择)。
- ZooKeeper:一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
- Sqoop:在数据库和HDFS之间高效传输数据的工具。
Hadoop项目简述
最新推荐文章于 2022-07-06 20:32:31 发布