Hadoop系列五之版本差别

最新推荐文章于 2024-08-04 18:57:17 发布
最新推荐文章于 2024-08-04 18:57:17 发布
阅读量3.3k 收藏 9
点赞数 3
分类专栏： hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43497829/article/details/113978987
版权
本文对比了Hadoop 1.x、2.x和3.x的主要区别，涵盖HDFS存储机制、MapReduce工作流程、Yarn资源调度、HA解决方案、联邦机制、纠删码、Shell脚本改进、API依赖、端口变更、云存储支持、DataNode均衡及内存管理等多个方面，深入探讨Hadoop演进历程。
摘要由CSDN通过智能技术生成

目前，hadoop官网提供的最新版本是2021年1月9日发布的3.2.2版本。本文主要讨论1.x、2.x和3.x的主要区别。
1.hadoop 1.x
（1）基本组件：
hdfs：数据存储
mapreduce：分析计算和资源调度
common：辅助工具
（2）HDFS存储机制

在这里插入图片描述
（3）MapReduce工作机制：

在这里插入图片描述
client，用来提交MapReduce作业。
jobtracker，用来协调作业的运行。
tasktracker，用来处理作业划分后的任务。
HDFS，用来在其它实体间共享作业文件。
（4）问题

在这里插入图片描述
单NameNode设计带来诸多问题：单点故障、内存受限，制约集群扩展性和缺乏隔离机制等；此外，JobTracker兼顾资源管理和任务调度，负担过重，容易造成单点故障。
2.hadoop 2.x
（1）基本组件
hdfs：数据存储

最低0.47元/天 解锁文章
Luckyman_zz
关注
专栏目录
Hadoop版本区别&Hadoop组成
weixin_44466903的博客
09-12 2166
1. Hadoop版本差异 Hadoop 1.x hadoop 2.x MapReduce（计算+资源调度） MapReduce(计算) —— Yarn（资源调度） HDFS(数据存储） HDFS(数据存储) Common(辅助工具) Common（辅助工具） 在Hadoop1.x 时代，Hadoop中的Mapreduce同时处理业务逻辑运算和资源的调度，耦合性较大...
Apache Hadoop 版本
IPJMC的专栏
01-10 482
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化 截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hado...
Linux环境下Hadoop3.4.0（最新版本）单机部署
最新发布
taogumo的专栏
08-04 951
Linux环境下Hadoop3.4.0（最新版本）单机部署
Hadoop版本区别
m0_47575110的博客
11-22 480
hadoop1.x和hadoop2.x的区别
hadoop发行版本之间的区别
weixin_33995481的博客
09-18 183
hadoop发行版本之间的区别 Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，...
Hadoop个版本区别
遥远的东方的专栏
01-23 1102
Hadoop供应商： 　　Cloudera 　　·Cloudera的Hadoop管理工具非常成熟 　　·Cloudera还提供了应用导航的功能 　　·Cloudera在Hadoop领域是非常有经验的 　　·Cloudera对于Hadoop的发展起着重要作用 　　·Cloudera拥有广泛的合作伙伴支持 　　·Cloudera专攻Hadoop，同时资金充沛
Hadoop版本比较
过河卒子Rover的博客
01-06 3588
Hadoop版本
Hadoop系列 (七)：ZooKeeper详细介绍
Eric Ray的博客
10-18 3345
ZooKeeper详细介绍及集群搭建
Hadoop系列 (四)：Yarn详细介绍
Eric Ray的博客
09-17 1219
Yarn详细介绍及其高可用部署
hadoop之HDFS架构详解
arno_wzkdhr的专栏
02-01 1140
HDFS是hadoop的三驾马车之一，是一种大规模分布式文件存储系统。 使用HDFS存储的场景是：当数据集大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区，并存储到若干台独立的计算机上。 HDFS的设计特点： •超大文件 • 流式数据访问 • 低成本 • 数据一致性 • 高吞吐率 • 易扩展 • 高容错 下面我们解剖一下HDFS的设计实现，来分析HDFS是如何体现其特点的。 （说明：以下内容 基于 hadoop v2.7.7） 提醒：本次内容有点多，...
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】
07-16
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
本文配套的hadoop版本
04-26
本实验所用的Hadoop版本是hadoop-2.7.7，下载后，解压按照文章步骤安装即可(https://blog.csdn.net/qq_38821502/article/details/89523179)
大数据学习之路-Hadoop
weixin_43441789的博客
01-29 4105
Hadoop1. 大数据导论1.1 大数据概念1.2 大数据特点1.3 大数据应用场景1.4 大数据部门组织结构2. Hadoop简介与大数据生态2.1 Hadoop的介绍2.2 Hadoop三大发行版本2.3 Hadoop组成2.3.1HDFS架构概述2.3.2 YARN架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系3. Hadoop运行环境搭建3.1 模板虚拟机环境准备3.2 克隆虚拟机3.3 安装JDK3.4 安装Hadoop3.5 Hadoop目录结构4. Hadoop运行
hadoop各个版本的介绍，以及他们的区别
热门推荐
wyqwilliam的博客
09-11 1万+
             
Hadoop版本选择
weixin_30394981的博客
04-22 444
刚开始学习Hadoop时就曾经一直抱怨Hadoop的安装部署为什么这么麻烦，对于一个新手需要捯饬一天才能把分布式环境安装配置好。而对于一个自学Hadoop而周围又没人交流的菜鸟来说，我对Hadoop的理解一直停留在很肤浅的层面，能应用，但对内部的原理知之甚少。最近和一个做这方面的朋友聊天，他问我你学习Hadoop是用的什么版本搭建环境，我说Hadoop版本那么多我也记不太清了，他只是笑笑就没再多问...
hadoop几个版本区别
chlaws的专栏
01-08 1万+
做个mark，以后有空再详细写写 0.20.x是历史稳定版 0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA 1.0.x是当前稳定版，但和0.20.x系列差不多，只不过有些优化改进 1.1.x是beta版 2.0.x 现在是alpha版，有yarn和federation的引入这点是和0.23.x是一样，且有NN和HA，但是它是基于1.x的稳定版
hadoop版本的对比
技术交流 -- 学无止境，与时俱进
11-06 8165
目前hadoop有2个开源版本，一个是Apache的版本，另一个是Cloudera在Apache的基础上进行优化的版本，也称为CDH3版。 两个版本的对比情况如下： CDH3 版本 Apache 版本 描述 Hadoop Common ● ● The common u
简述Hadoop版本区别
06-06
Hadoop版本区别主要包括以下几个方面： 1. HDFS高可用性：在Hadoop 1.x版本中，HDFS采用单点故障的设计，NameNode是系统的核心组件，如果NameNode出现故障，整个系统将无法正常工作。而在Hadoop 2.x版本中，引入了HDFS的高可用性机制，通过引入多个NameNode，实现了NameNode的高可用性。 2. YARN：在Hadoop 1.x版本中，MapReduce和HDFS紧密耦合，无法支持其他计算框架。而在Hadoop 2.x版本中，引入了YARN（Yet Another Resource Negotiator），将资源管理和任务调度与MapReduce框架分离，支持多种计算框架，如Spark、Storm等。 3. 性能优化：Hadoop 2.x版本对性能进行了优化，如引入了内存缓存机制、增加了数据复制的并行度、优化了底层数据存储等，提高了系统的性能和可扩展性。 4. 其他工具：Hadoop 2.x版本引入了一些新的工具和组件，如Hadoop Ozone、Hadoop KMS、Hadoop S3A等，可以更好地满足不同场景下的需求。 总之，Hadoop 2.x版本相比Hadoop 1.x版本，在性能、可靠性、可扩展性、灵活性等方面都有了显著的提升，更适合处理大规模数据和复杂的计算任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值