【Hadoop】HBase、HDFS和MapReduce架构异同简解

最新推荐文章于 2024-07-16 13:58:50 发布

朝和(zixi0825)

最新推荐文章于 2024-07-16 13:58:50 发布

阅读量2.1k

点赞数

分类专栏： Hadoop 文章标签： mapreduce hbase 架构 hdfs

本文链接：https://blog.csdn.net/u011812294/article/details/60342282

版权

Hadoop 专栏收录该内容

42 篇文章 2 订阅

订阅专栏

                    
                        
                    
                    HBase、HDFS和MapReduce架构异同 
..HBase（公司架构模型）HDFS2.0（公司架构模型）MR2.0（公司架构模型）MR1.0（公司架构模型）
中央HMasterNameNode(NN)ResourceManger(RM)JobTracker(JT)
地方HRegionServer(HRS)DataNode(DN)NodeManager(NM)TaskTracker(TT)
监控协调者ZooKeeperZooKeeperZooKeeper无
是否有HAHMaster-backupsNN（Standby）RM（Standby）无，存在单点故障
故障转移方式1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active）
2.HRegionServer与ZooKeeper直接通讯NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active）RM直接与ZK直接通讯，谁先建立znode，则谁为active无，存在单点故障
地方故障谁负责恢复和转移HMasterNameNodeResourceManagerJobTracker
中央与地方的通讯HRegionServer与ZK心跳，HMaster从ZK获取HRS状态DN周期性向NN汇报NM周期性向RM汇报TT周期性向JT汇报
中央的共同职责
1. 负责地方任务的分配和故障转移
2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态）
3. 地方资源的分配
中央各特点分配HRegionServer上的Region分配DN的block分配NM上container上的任务分配TaskTracker上的task
负载均衡HRS上region的负载均衡block的负载均衡
特点
1.Region的预分区、分裂和合并
2.Compaction机制
3.WAL机制
4.读写流程
1.副本策略
2.数据写入的副本管道传输机制
3.联邦制
1.资源调度和应用管理独立进程
2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务
3.container概念
1.将资源划分为等量以slot为单位
2.maptask和reducetask独立分配

                

..	HBase（公司架构模型）	HDFS2.0（公司架构模型）	MR2.0（公司架构模型）	MR1.0（公司架构模型）
中央	HMaster	NameNode(NN)	ResourceManger(RM)	JobTracker(JT)
地方	HRegionServer(HRS)	DataNode(DN)	NodeManager(NM)	TaskTracker(TT)
监控协调者	ZooKeeper	ZooKeeper	ZooKeeper	无
是否有HA	HMaster-backups	NN（Standby）	RM（Standby）	无，存在单点故障
故障转移方式	1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯	NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active）	RM直接与ZK直接通讯，谁先建立znode，则谁为active	无，存在单点故障
地方故障谁负责恢复和转移	HMaster	NameNode	ResourceManager	JobTracker
中央与地方的通讯	HRegionServer与ZK心跳，HMaster从ZK获取HRS状态	DN周期性向NN汇报	NM周期性向RM汇报	TT周期性向JT汇报
中央的共同职责	1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配
中央各特点	分配HRegionServer上的Region	分配DN的block	分配NM上container上的任务	分配TaskTracker上的task
负载均衡	HRS上region的负载均衡	block的负载均衡
特点	1.Region的预分区、分裂和合并 2.Compaction机制 3.WAL机制 4.读写流程	1.副本策略 2.数据写入的副本管道传输机制 3.联邦制	1.资源调度和应用管理独立进程 2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务 3.container概念	1.将资源划分为等量以slot为单位 2.maptask和reducetask独立分配