Hadoop项目结构及其主要作用

组件                                                                         功能

HDFS                                                                分布式文件系统

MapReduce                                                      分布式并行编程模型

YARN                                                                资源管理和调度器

Tez                                                                    运行在YARN之上的下一代Hadoop查询处理框架

Hive                                                                  Hadoop上的数据仓库

HBase                                                              Hadoop上的非关系型的分布式数据库

Pig                                                                    一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言

Pig LatinSqoop                                                 用于在Hadoop与传统数据库之间进行数据传递

Oozie                                                                Hadoop上的工作流管理系统

Zookeeper                                                        提供分布式协调一致性服务

Storm                                                               流计算框架Flume一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统AmbariHadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控

Kafka                                                               一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据Spark类似于Hadoop MapReduce的通用并行框架