hadoop1.x和2.x的区别

已于 2022-04-20 18:10:11 修改
阅读量2k 收藏
点赞数 2
文章标签： hadoop
于 2022-04-20 09:08:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DypBellwether/article/details/124288873
版权
Hadoop的1.x和2.x主要区别在于2.x引入了YARN组件，实现了MapReduce任务的资源调度解耦。YARN的主要作用是进行资源调度，防止数据倾斜造成的负载不均衡，从而减轻MapReduce的工作负担，提高集群效率。
摘要由CSDN通过智能技术生成

hadoop版本的区别


在这里插入图片描述

主要区别

由上图可见，1.x和2.x的最大区别在于组件yarn

细节差距

yarn的作用是为了资源调度，防止数据倾斜即（负载不均衡）
2.x后出yarn是为了减少MapReduce的工作量（也叫解耦合）
在1.x版本中MapReduce是要负责运算和资源调度的

不会写码的猿
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性
曹利荣的博客
12-24 3970
hadoop1.x和hadoop2.x的主要区别在于： 1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。 2、第二个区别就体现在mapreduce的架构设计上，hadoop1.x中mapreduce兼具计算和资源调度两个作用， 而在hadoop2.x中则将mapreduce中的资源调度功能...
Hadoop1.x与Hadoop2.x的区别
ThreeAspects的博客
12-15 2299
Hadoop1.x与Hadoop2.x的区别 1、变更介绍   Hadoop2.x相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性 MapReduce将JobTracker中的资源管理及任务生命...
hadoop2.x与Hadoop1.x区别
wsong_14的博客
09-23 1114
hadoop2.x与Hadoop1.x区别： （1）2.x比1.x从性能上有很大增强 （2）Hadoop1中的JobTracker是一个功能集中的部分，负责资源的分配和任务的分配，所以JobTracker单点出问题就会造成整个集群无法使用了，而且MapReduce模式是集成在Hadoop1中，不易分解;Hadoop2中，ResourceManager(RM)就是负责资源的分配，Nod
Hadoop1.X 与 Hadoop2.X比较
m0_54849806的博客
08-16 1062
0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop 1.0 指的是1.x(0.20.x),0.21,0.22hadoop 2.0 指的是2.x,0.23.xCDH3,CDH4分别对应了hadoop1.0 hadoop2.0。
简单比较hadoop1.x和hadoop2.x的区别
hearting的博客
03-31 1265
hadoop1.x和hadoop2.x的区别： Hadoop1.x版本： 内核主要由Hdfs和Mapreduce两个系统组成，其中Mapreduce是一个离线分布式计算框架，由一个JobTracker和多个TaskTracker组成。 JobTracker的主要作用：JobTracker是框架的中心，接收任务，计算资源，分配资源，分配任务，与DataNode进行交流等功能。决策程序失败时 重启等操...
Hadoop1.x、2.x、3.x区别
weixin_61518174的博客
06-28 433
h
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
01-11
Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论 2.1...
hadoop2.X新特性介绍
04-19
### Hadoop2.X 新特性详解 #### Hadoop1.0 的局限性 Hadoop1.0作为初代的大数据处理框架，在数据存储和处理方面取得了显著成就，但也暴露出了一系列问题，主要包括： - **HDFS（Hadoop Distributed File System）...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
理清Hadoop1.x与Hadoop2.x区别
02-28
理清Hadoop1.x与Hadoop2.x区别，对比分析。 Hadoop是大数据惊世之作，必学的东西，需要知道： 它由哪些部分组成？ 各自的作用是什么？ 如果工作的？
Hadoop1.x与Hadoop2.x之间的差异
weixin_33843947的博客
05-14 572
一.Hadoop2.x产生背景 　　1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 　　2.HDFS存在的问题 　　　　1.NameNode单点故障，难以应用于在线场景。 　　　　2.NameNode压力过大，且内存受限，影响扩展性。 　　3.MapReduce存在的问题 　　　　1.JobTracker访问压力大，影响系统扩展性。 　　　　2...
Hadoop 1.x 和 Hadoop 2.x 有什么区别？
热门推荐
Shockang的博客
06-17 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 YARN Hadoop 和 Hadoop 之间的最大不同是 YARN 。 YARN 是“ Yet Another Resource Negotiator ”的缩写。 Hadoop 仅仅是 HDFS 和 MapReduce 计算框架的组合。 正如我们所看到的，在 Hadoop 中， YARN 位于 HDF
HDFS在 Hadoop1.x与Hadoop2.x的区别
H_hello_world的博客
12-24 1300
HDFS Hadoop1.x Hadoop2.x
hadoop1.x和hadoop2.x的区别
qq_45292079的博客
11-16 328
1.组成 hadoop1.x有common、mapreduce、hdfs hadoop2.x有common、mapreduce、hdfs、yarn hadoop1.x的mapreduce负责计算、资源调度 hadoop2.x的mapreduce负责计算、yarn负责资源调度 2.功能 1、 HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性； 首先HD...
从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别
执念的博客
12-13 7900
问题导读 1.hadoop1.x改造如果是两个jobtraker，你认为解决了什么问题？ 2.hadoop1.x改造如果是两个jobtraker，你认为未解决了什么问题？ 3.你如何看待hadoop2.x的yarn 鉴于本人面试提到过这个问题：hadoop1.x和hadoop2.x的区别，起始存在很多模糊的地方，希望看到这篇文章，能够对hadoop有个基本的认识。 转载自http
hadoop基本术语
xuefengmiao的专栏
06-08 654
（1）Hadoop 1.0 Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。
Hadoop1.x和2.x的区别
weixin_44701887的博客
06-21 138
hadoop1.x和2.x的区别 1.X版: HDFS集群 + MapReduce集群. 2.X版: HDFS集群 + Yarn资源调度平台 + MapReduce集群. HDFS的区别： 1.1 文件切块block由64M变成了128M 1.2 1.x版本里Namenode只有一个节点，容易出现单点故障 2.x版本里Namenode可以有多个节点，解决了单点故障 MapReduce的区别： 2.1 1.x是mr集群，主要是由JobTracker 和TaskTracker组成JobTracker负责资
Hadoop(6)----hadoop1.x 与 hadoop2.x之间的区别
wozipa的博客
06-18 1876
1 介绍 随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后退出了新一代的Hadoop2.x，下面笔者将从HDFS和MapReduce两个方面对Hadoop1.x和Hadoop2.x直接的区别 2 HDFS之间的区别 Hadoop 1.X: 在Hadoop1.x中，HDFS的采用Mast
hadoop2.x和hadoop3.x的区别
最新发布
03-16
Hadoop 2.x和Hadoop 3.x的区别主要在以下几个方面： 1. YARN的改进：Hadoop 2.x中引入了YARN（Yet Another Resource Negotiator），使得Hadoop可以支持多种计算框架，如MapReduce、Spark、Storm等。而Hadoop 3.x...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值