Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…
1.HDFS:分布式文件系统,隐藏集群细节,可以看做一块儿超大硬盘
主:namenode,secondarynamenode
从:datanode
2.Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)
主:ResourceManager
从:NodeManager
3.MapReduce:Hadoop的编程框架,用map和reduce方式实现分布式程序设计,类似于Spring。
4.Pig:基于hadoop的一门数据处理语言,类似于python等编程语言
5.Zookeeper:分布式协调服务,用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等
主:QuorumPeerMain
从:QuorumPeerMain
6.Hbase:Hadoop下的分布式数据库,类似于NoSQL
主:HRegionserver,HMaster,HPeerMain(在使用zookeeper作为协调时没有此进程)
7.Hive:分布式数据仓库,让开发人员可以像使用SQL一样使用MR。
8.Scoop:用于将传统数据库中数据导入到hbase中一个导入工具
9.Spark:基于内存的分布式处理框架
主:Mater
从:worker
原文:https://blog.csdn.net/u012155582/article/details/52163849