hadoop 1.0 && hadoop 2.0对比

最新推荐文章于 2022-09-26 21:51:20 发布
最新推荐文章于 2022-09-26 21:51:20 发布
阅读量1.4k 收藏 1
点赞数
文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/P_king/article/details/114968868
版权

hadoop 1.0 && hadoop 2.0对比

 

hdfs 1.0

 

  1. NameNode管理着整个文件系统，负责接收用户的操作请求
  2. NameNode管理着整个文件系统的目录结构，所谓目录结构类似于我们Windows操作系统的体系结构
  3. NameNode管理着整个文件系统的元数据信息，所谓元数据信息指定是除了数据本身之外涉及到文件自身的相关信息
  4. NameNode保管着文件与block块序列之间的对应关系以及block块与DataNode节点之间的对应关系

在hadoop1.0中，namenode有且只有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。

在HDFS中,我们真实的数据是由DataNode来负责来存储的，但是数据具体被存储到了哪个DataNode节点等元数据信息则是由我们的NameNode来存储的。

这种架构实现的好处的简单，但其局限同样明显：

最低0.47元/天 解锁文章
P_king
关注
Hadoop1.0与Hadoop2.0的区别
liuyunyang210的博客
06-27 767
1.Hadoop概述 　　在Google三篇大数据论文发表之后，Cloudera公司在这几篇论文的基础上，开发出了现在的Hadoop。但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。那么Hadoop1.0究竟存在哪些缺陷，在它升级到Hadoop2.0的时候又做出了怎样的调整，...
Hadoop1.0和Hadoop2.0底层架构
AiWmiao的博客
08-27 752
Hadoop架构1. Hadoop 1.01.1 HDFS1.2 MapReduce2. Hadoop 2.02.1 Yarn : 资源管理系统扫码关注,一起学习进步,回复'分享',会有惊喜等着你~ 1. Hadoop 1.0 Hadoop是一个开源的分布式系统框架 第一代Hadoop从资源管理到任务调度都采用了主从结构 Hadoop1.0有两个核心组件，HDFS和MapReduce 1.1 HD...
spark1.0和2.0的区别_hadoop1.0 和 Hadoop 2.0 的区别
weixin_39767983的博客
12-20 227
1.Hadoop概述在Google三篇大数据论文发表之后，Cloudera公司在这几篇论文的基础上，开发出了现在的Hadoop。但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。那么Hadoop1.0究竟存在哪些缺陷，在它升级到Hadoop2.0的时候又做出了怎样的调整，最终使得...
从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解
master_hunter的博客
11-24 5420
前言 本人大三软件工程大数据专业，在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。 Hadoop的优化与发展主要体现在两个方面： 一方面是Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进 另一方面是Hadoop生态系统其它组件的不断丰富，加入了Pig、Tez、Spark和Kafka等新组件 提示：以下是本篇文章正文内容，下面案例可供参考 一、Hadoop1.0 Hadoop1.0即第一代Hadoop，由分布式存储系...
Hadoop1.0&2.0快速入门
06-10
自2006年成为Apache顶级项目以来，Hadoop已经经历了多个版本的迭代，其中Hadoop 1.0和2.0是两个主要的版本，它们对大数据技术的发展产生了深远的影响。 Hadoop 1.0是该框架的最初版本，它主要由两个核心组件构成：...
hadoop1.0\2.0学习笔记及
04-17
本学习笔记涵盖了Hadoop 1.0和2.0两个主要版本，旨在帮助读者全面理解Hadoop的核心概念、架构以及实际操作。 在Hadoop 1.0中，核心组件主要包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种...
hadoop2的重大变化简介
码出个天下——程序员的自我修养
05-08 1128
hadoop2相对hadoop1有非常重大的改进。 下面看一下在HDFS和MapReduce方面的改进： HDFS Federation（HDFS联邦） HDFS有两个主要层： Namespace 由目录、文件和块组成；支持所有命名空间对文件和目录的操作。 Block Storage Service 由Block Management和Storage组成。
Hadoop Yarn资源管理——Hadoop1.0与Hadoop2.0对比
雾幻的博客
04-12 2330
相关链接： Hadoop Yarn资源管理——核心组件详解 Yarn（Yet Another Resource Negotiator）是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率（内存、IO、网络、磁盘等）。它仍可认为采用了master/slave结构，总体上采用了双层调度架构。 1、Hadoop1.0缺陷 JobTracker是Map-reduce的集中处理...
【Hadoop】- MR的架构以及 1.0 和 2.0版本优缺点分析
兀坐晴窗独饮茶
09-17 2274
MR的架构以及缺点分析 1.0 版本 Hadoop - 2011 MR的缺点 : 不适合进行迭代计算 MR过程中涉及到磁盘的读写, 所以性能很慢 MR 和 Hadoop 耦合性比较强, MR无法运行在其他平台上, Hadoop 上也无法运行其他框架 2.0 版本 Hadoop - 2013 新增 : Yarn Driver : 编写 MR 代码的 Driver类 用于控制mr任务的提交 R...
关于Hadoop1.0与2.0
SmallIPPig的博客
03-27 1012
关于Hadoop的局限性与不足： 1.抽象层次低：对于简单的功能，编写大量的代码。 2.表达能力有限，MR把复杂分布式编程工作高度抽象到两个函数上，即MAP与REDUCE 上，实际生产环境上中有些不能只用简单的两个函数完成。 3.要管理作业间复杂的依赖关系。实际应用通常需要大量的job协作完成，job之间往往存在复杂的依赖关系。 4.迭代效率低。对于需要迭代的任务。需要反复读写HDFS文件中的数据...
浅谈hadoop1.0与hadoop2.0的不同
chunyi6295的博客
01-08 459
浅谈hadoop1.0与hadoop2.0的不同 这几天刚到公司报道，开始了我的实习历程。首先我的目标是对公司的hadoop平台进行学习，希望在短时间自己能够独立搭建，并且能明目个组件内部的交互原理。这两天我进行了hadoop1.0到hadoop2.0（cdh4及以后的版本均为hadoop2...
hadoop1.0和hadoop2.0的对比
SYITwin的博客
10-17 1831
Hadoop1.0包含两个核心组件，分别是HDFS和MapReduce。 Hadoop2.0在Hadoop1.0基础之上增加了独立的集群资源管理组件Yarn。Yarn不仅可以为MapReduce提供资源管理服务，也可以为MPI、Storm、Spark和Flink等计算框架提供资源管理服务。 对比项目 MapReduce Yarn 角色 JobTracker TaskTracker (执行程序时添加MapTask和ReduceTask） .
hadoop1.0和hadoop2.0的区别
zhangxiong0301的专栏
03-10 472
1. Hadoop 1.0中的资源管理方案 Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）...
Hadoop1.0与Hadoop 2.0特性对比
paladinosment的专栏
01-04 2351
转载自董的博客 相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，该特性允许一
Hadoop的优化与发展+HDFS（2.0）新特性
cc的博客
06-18 1793
Hadoop的优化与发展1. Hadoop（1.0）的局限与不足2. 针对其1.0版本的不足改进和提升2.1 Hadoop框架自身的改进和提升2.2 Hadoop生态系统的完善3. HDFS2.03.1 HDFS HA3.2 HDFS 联邦 1. Hadoop（1.0）的局限与不足 抽象层次低。需要手工编写代码来完成，有时只是为了实现一个简单的功能，也要手工编写大量的代码。 表达能力有限。Hadoop把复杂的分布式编程高度抽象到两个函数Map和Reduce上，在降低使用难度的同时，但也带来了表达能有限的问
6 Hadoop2.0新特性
专注编程和人工智能！
09-30 1261
Hadoop2.0 改进与提升 在Hadoop最初诞生时，在架构设计和应用性能方面存在很多不尽人意的地方，在后续发展过程中逐渐得到了改进和完善。相比Hadoop1.0版本，Hadoop2.0的优化改良主要体现在两个方面：一方面是Hadoop自身核心组件架构设计的改进，另一方面是Hadoop集群性能的改进，通过这些优化和提升，Hadoop可以支持更多的应用场景，提高资源利用率。 Hadoop1.0版本与Hadoop2.0版本的区别 Yarn体系结构 YARN（Yet Another Resource Neg
分布式学习-1 Hadoop Spark安装
weixin_45385568的博客
09-26 2253
折腾了一个多月的时间，成功实现了一些应用。学习过程中还是踩了不少坑的，所以在这里对整个构建过程进行整理，方便大家参考学习。
Hadoop1.0和Hadoop2.0区别
最新发布
06-09
Hadoop 1.0和Hadoop 2.0是两个不同的版本，它们之间存在一些区别： 1. 架构不同：Hadoop 1.0采用了MapReduce架构，而Hadoop 2.0则将MapReduce和YARN（Yet Another Resource Negotiator）框架相结合。 2. YARN：Hadoop 2.0中引入了YARN框架，它可以处理除MapReduce之外的其他数据处理框架，例如Spark、Storm等。 3. 改进的高可用性：Hadoop 2.0中引入了改进的高可用性，通过Active-Standby方式实现NameNode节点的高可用性。 4. 新的API：Hadoop 2.0中引入了一些新的API，例如FileSystem、Client API等，这些API提供了更好的性能和更好的功能。 5. 改进的性能：Hadoop 2.0中对MapReduce的性能进行了一些改进，例如支持更大的数据集、更快的Job启动和执行等。 总的来说，Hadoop 2.0相对于Hadoop 1.0来说具有更好的扩展性和更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值