Why Hadoop2


自从Hadoop2出现之后,其迅速取代了Hadoop1的地位,并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话,往往直接采用Hadoop2了。

Hadoop2能被如此广泛的使用,肯定有其自身的优势,本文将对其进行梳理


支持更多的计算框架

Hadoop1采用的计算框架是MapReduce,MapReduce是批处理计算框架,适合做海量数据的离线处理。为了让Hadoop能支持到更多的应用场合,更多的计算框架,YARN应运而生,它极大的拓展了Hadoop的使用场合。

采用YARN框架后,会带来另外一个好处。为了让集群能满足企业的需求,企业往往将不同的计算框架部署到不同的集群上,在采用YARN后,企业可以将这些计算框架部署在一个集群上,极大的提升了集群的利用率,并且减少了运维成本




集群拓展性更强

Hadoop1只能支持数千台计算机的容量,这是因为NameNode和JobTracker的内存容量有限导致的。在HDFS2采用Federation,Hadoop将jobtracker的逻辑拆分后,Hadoop集群的拓展性得到了质的提升。



集群资源利用率更高

下面两张图是twitter分别采用Hadoop1和Hadoop2时,集群资源利用率的对比




HDFS和RM单点故障的解决

在Hadoop1上,HDFS和JobTracker是存在单点故障的,主节点崩溃后,集群也随之崩溃,而在Hadoop2上,当采用HA机制后,单点故障解决了。






  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值