hadoop中各组件的作用

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…

 

1.HDFS:分布式文件系统，隐藏集群细节，可以看做一块儿超大硬盘

         主：namenode,secondarynamenode

         从：datanode

 

2.Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）

         主：ResourceManager

         从：NodeManager

 

3.MapReduce:Hadoop的编程框架，用map和reduce方式实现分布式程序设计，类似于Spring。

 

4.Pig:基于hadoop的一门数据处理语言，类似于python等编程语言

 

5.Zookeeper：分布式协调服务，用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

         主：QuorumPeerMain

         从：QuorumPeerMain

 

6.Hbase:Hadoop下的分布式数据库，类似于NoSQL

         主：HRegionserver,HMaster,HPeerMain(在使用zookeeper作为协调时没有此进程)

7.Hive:分布式数据仓库，让开发人员可以像使用SQL一样使用MR。

8.Scoop:用于将传统数据库中数据导入到hbase中一个导入工具

9.Spark:基于内存的分布式处理框架

         主：Mater

         从：worker