hadoop迭代器原理（通俗易懂）

最新推荐文章于 2022-03-23 23:12:06 发布
最新推荐文章于 2022-03-23 23:12:06 发布
阅读量974 收藏 5
点赞数 1
文章标签： hadoop 大数据 mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57597001/article/details/121052968
版权
这篇博客探讨了Hadoop在reduce阶段如何合并表输出，重点在于理解Hadoop迭代器与Java迭代器的不同。在Java中，遍历迭代器时，同一个引用对象的值会被改变，而在Hadoop中，为了保存多个对象，需要在每次遍历时创建新的对象实例。博客通过实例解释了这一原理，强调了在处理Hadoop迭代器时需要注意的内存管理问题。
摘要由CSDN通过智能技术生成

hadoop的迭代器与Java的不同

用一个题目来解释

在reduce阶段将两张表合并输出，思路是创建一个集合，遍历每个reduce方法中的value，将对象放到集合中去

Hadoop与Java的迭代器不同，当使用for去遍历迭代器中的元素的时候，给到的这个value一直都是一个value，只是每次给的值不一样。即如果我们创建一个临时对象tmpOrderBean,会给这个对象开辟一个空间，value=new tmpOrderBean,这个是第一次运行时的等价代码，而第二次运行的时候只是改变了value的值，没有重新开辟内存，所以需要每次遍历的时候都开辟一个新的空间地址这样就可以把多个对象放进去了。

原理也可以这样解释：

 

weixin_57597001
关注
BAT 大厂Java 面试题集锦之核心篇附参考答案
AI天才研究院
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
Java 学习路线大全，再也不用迷路啦（持续更新）
腾讯全栈-ITCJF
10-14 2814
路线特点 最新，完整一条龙，从入门到入土（⭐ 表示推荐学习） 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能 前言 首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java 的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。 阶段 1：Java 入门 目标 培养兴趣、快速上手 前期准备 准备好一款在线、随时随地
Hadoop迭代式计算框架Guagua.zip
07-18
Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型，Guagua 是一个基于 Hadoop 的迭代式计算框架，几乎任何基于迭代的算法都可以利用 Guagua 为其添加分布式功能。此外由于Guagua对分 布式的良好支持，我们以前许多想做又不能做的工作比如模型特征自动选取都可以得以进行。 Guagua目前主要支持的是同步的Master-Workers结构的迭代式计算框架，今后我们希望能够支持异步方式的迭代计算框架，2012年Google MapReduce之父Jeff Dean发表了一篇论文，上面提到了对神经网络深度模型的支持，文章介绍他们的DistBelief框架训练的神经网络的数学模型可以支持10亿级别的参数。这也是Guagua的另一个方向，支持超大规模的深度神经网络模型。 介绍内容摘自 InfoQ 标签：Guagua
Java中迭代器的使用
weixin_30551963的博客
06-25 192
由于Java中数据容器众多，而对数据容器的操作在很多时候都具有极大的共性，于是Java采用了迭代器为各种容器提供公共的操作接口。 使用Java的迭代器iterator可以使得对容器的遍历操作完全与其底层相隔离，可以到达极好的解耦效果。 public interface Iterable<T> 　　Iterator<T>iterator()R...
HaLoop——适用于迭代计算的Hadoop
guoery的大数据
01-07 1404
文章连接（VLDB‘2010） 该文章提出了对Hadoop的修改，使之能够适用于迭代计算，将原生的Hadoop中每一个job中一个map-reduce对改成多个map-reduce对，这样job就可以复用（如果不复用，每一个job完成之后都会把reduce的结果写进Hdfs文件，同时启动新的job时会从Hdfs中读文件，造成I/O压力），实现了在job内就可以控制迭代，同时由于迭代计算本身的
Hadoop笔记--Reduce方法中获取迭代器的值
fujiaxiaoshao的博客
10-02 1473
由于迭代器只能对每一个元素分别进行处理，但是某些时候，却需要获取所有元素后再进行处理。所以打算把迭代器中的所有值存储在数组中，然后再进行相应的运算。 下边是两种将迭代器内的数值存储在array中的过程 1. 2. 两种做法均不正确。如果安装上边的代码执行。结果array中所有元素的值将等于迭代器的最后一个元素的值。 这是由于iterate.next()被单独分到了一个内存空间。而
迭代器详解
菜鸟的博客
12-22 484
一、摘要 　　迭代器模式是与集合共生共死的。一般来说，我们只要实现一个容器，就需要同时提供这个容器的迭代器。使用迭代器的好处是：封装容器的内部实现细节，对于不同的集合，可以提供统一的遍历方式，简化客户端的访问和获取容器内数据。在此基础上，我们可以使用 Iterator 完成对集合的遍历，此外，for 循环和foreach 语法也可以用于遍历集合类。ListIterator 是容器 L
Hadoop系列（三）——心脏命脉 MapReduce 详解
热门推荐
BigData_Hubert的博客
08-24 1万+
最近花了一段时间去了解MapReduce 的工作原理：Map对数据集上的独立元素进行指定的操作，生成键值对形式中间结果；shuffle是MapReduce的心脏，对中间结果进行数据整合分区排序处理，有助于编写效率更高的mapreduce程序和hadoop调优；Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。自己画了一张流程图如下图，希望能对MapReduce感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。 MapReduc
通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core? .Net Web开发技术栈...
07-02 2090
通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core? 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、Windows下CLR的相关核心组成、Wind...
又双叒叕来更新啦！Hadoop——HDFS篇
5akura's Blog
07-09 1034
文章目录HDFS（存储）概述HDFS的Shell操作常用命令实操HDFS客户端操作环境准备HDFS的API操作HDFS的I/O流操作HDFS数据流写数据的过程网络拓扑——节点距离计算机架感知读数据的过程NN和2NN工作机制Edits和FSimageCheckPoint触发条件设置设置NN故障处理集群安全模式安全模式相关常用命令NameNode多目录配置DataNodeDataNode工作机制数据的完整性DataNode掉线时限参数配置服役新数据节点退役旧数据节点添加白名单黑名单退役DataNode多目录配置
迭代器模式
KeithRong的博客
02-22 142
1. 定义 如果我们的集合元素是用不同的方式实现的，有数组，还有 java 的集合类，或者还有其他方式，当客户端要遍 历这些集合元素的时候就要使用多种遍历方式，而且还会暴露元素的内部结构，可以考虑使用迭代器模式解决。 2. 代码 场景：展示出学校的院系组成，一个学校有多个学院，一个学院有多个系。 @Data @AllArgsConstructor class Department{ pri...
hadoop 迭代
zj360202的专栏
02-01 1190
1. MapReduce，组合式，迭代式，链式  http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499653.html 这个 Configuration job1conf = new Configuration(); Job job1 = new Job(job1conf); .........//job1 其他设置 Conf
hadoop关于reduce方法里面迭代value问题
qq_41244181的博客
03-12 393
hadoop中在写mapreduce方法时,reduce()阶段避免不了对[Iterable ]values进行迭代 这里不能直接使用values的迭代结果,直接添加会造成集合里存了都是一样的值，为最后一次添加的数据,因为这个value只是一个引用,地址是不变的，但是里面的值是每次迭代变化的。所以造成最后保存的都是最后一次的value的值（整个list） try { BeanUtils.copyP...
mapreduce的迭代 组合 链式
xuefengmiao的专栏
05-03 717
能够到这一步，说明已经对hadoop入门，并且产生问题。这个问题，似乎困惑了不少初学者。 1.比如我们输出的mapreduce结果，需要进入下一个mapreduce，该怎么解决？ 可以使用迭代式 2.那么什么是迭代式? 3.什么是依赖式？ 4.什么是链式？ 5.三种模式各自的应用场景是什么？ 网上不少资料，但是对于新手，很难辨认，这里给大家指出这里面的关键点：
【深入理解Hadoop原理】Hadoop 迭代器重用问题
王小明的专栏
07-25 731
Hadoop 迭代器重用问题 开始是由于业务的问题发现最终结果与预期不符，在代码中打日志调试发现了这个问题。reduce方法的javadoc中已经说明了会出现的问题： 引用 The framework calls this method for eachpair in the grouped inputs. Output values must be of the same ...
hadoop中迭代器的对象重用问题
世界上有10种人
05-07 331
在用reduce时出现一个问题，在这上面耗费了好些时间，一直以为是业务逻辑方面的问题，不曾想是技术上的问题：reduce中迭代器返回对象的问题。写此blog以纪念在解决这个问题时的怂……囧 先看这个reduce的实例： [code="java"]public static class sellerInfoReduce extends MapReduceBas...
Hadoop实现
qq_17724885的博客
03-23 2421
集群性能瓶颈 磁盘I/O性能 hadoop运行模式 单机 伪分布 完全分布 hadoop生态圈 zookeeper 分布式应用程序协调服务，同步命名服务 配置维护 flume 高可用 高可靠 分布式日志采集 聚合传输工具 hbase 面向列 分布式 数据库 在hdfs上存储 hive 使用mr引擎的 元数据概念的 数据仓库 有简单的sql查询功能 sqoop 关系型数据库和hdfs数据互导 hadoop和hadoop生态系统概念 hadoop是hadoop框架 hadoop生
Hadoop|Reduce中Iterable迭代器K,V对象复用机制
desperado0726的博客
03-13 429
apache官网对于reduce中k,v复用的描述如下： The framework calls this method for each <key, (list of values)> pair in the grouped inputs. Output values must be of the same type as input values. Input keys must not be altered. The framework will reuse the key and val
迭代器模式之任务执行案例实战
Peter_Changyb的博客
09-14 456
迭代器（Iterator）模式，又叫做游标（Cursor）模式。GOF 给出的定义为：提供一种方法访问一个容器（container）对象中各个元素，而又不需暴露该对象的内部细节。从定义可见，迭代器模式是为容器而生。很明显，对容器对象的访问必然涉及到遍历算法。你可以一股脑的将遍历方法塞到容器对象中去；或者根本不去提供什么遍历算法，让使用容器的人自己去实现去吧。这两种情况好像都能够解决问题。然而在前一...
深入理解Hadoop集群：原理、拓扑与实现
"看懂Hadoop集群原理与实现方式" Hadoop是开源的大数据处理框架，其设计目标是处理和存储海量数据。理解Hadoop集群的原理与实现方式对于深入学习和应用Hadoop至关重要。Hadoop集群由不同角色的服务器构成，主要包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值