Reduce源码分析

最新推荐文章于 2021-05-25 17:14:53 发布
最新推荐文章于 2021-05-25 17:14:53 发布
阅读量283 收藏
点赞数
分类专栏： 大数据 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40929921/article/details/92802732
版权

大数据

Reduce源码分析

先拉取数据(拷贝Map的输出数据)，再二次排序(分组的比较–迭代器)，最后是reduce

ReduceTask

​ *rIter 用于代表reduce从所有Map拉取的数据，有归并功能(基于Map的归并方法) --真迭代器

​ *compartor 分组比较器

​ *getOutputValueGropingComparator

​ 比较器取值过程

​ 1查看用户是否设置分组比较器

​ 2走Map端排序比较器

​ 2-1先查看用户是否设置排序比较器

​ 2-2如果没有设置取K自己的比较器

​ *runNewReducer

​ *createReduceContext

​ *reduceContext

​ *ReduceContextImpl

​ nextKey()

​ nextKeyValue() 作用：

​ 1将Map端拉取的IO数据反序列化，简而言之，是对K，V赋值

​ 2 nextKeyIsSame 取出下一组数据，利用分组比较器，比较前一条K与下一条K值

​ getCurrentKey()

​ getValues() 用到迭代器，也是在ReduceContextImpl方法中

​ 注意nextKeyIsSame，其作用是预判断–比较前条和下条数据的K值是否一致使用的是分组比较器，这个值真假迭代器都要使用，真迭代器的nextKeyIsSame值除了Map输入文件的最后一条数据外可以为空其他时候都不会为空。但是假迭代器的nextKeyIsSame值在当前组不为空，原理如下

​ [外链图片转存失败(img-43kRL9QS-1563924807455)(C:\Users\86158\AppData\Roaming\Typora\typora-user-images\1560684975185.png)]

总结

比较器comparator 在Map中是排序比较器 在Reduce中是分组比较器
​ 在排序比较器中有3个比较结果 >,<,= 2种取值过程（2）
​ 在分组比较器中有2个比较结果 是,不是 3种取值过程（1,2）

比较器取值过程
​ 1查看用户是否设置分组比较器
​ 2走Map端排序比较器
​ 2-1先查看用户是否设置排序比较器
​ 2-2如果没有设置取K自己的比较器

nextKeyValue() 这个方法在Map端是 对k，v赋值的过程
​ 在Reduce端 1对k，v赋值
​ 2做预判断–比较前条和下条数据的K值是否一致(分组比较器)

reduce的迭代原理
假迭代器取的是真迭代器的内部数据，但是真迭代器会做预判断处理，当假迭代器使用nextKeyValue方法取值时，当假迭代器遇到前条数据与下条数据的K值不相等情况时，假迭代器执行完毕，会跳出循环。
这样保证了相同的K为一组，这组数据在reduce方法内进行迭代，所以假迭代器只能执行一组数据的归并

Map-Reduce不占用内存空间

Map不占用内存空间，只需要分配的溢写磁盘大小(默认100M)，溢写出来的小文件都在磁盘上
Reduce拉取的Map数据在磁盘当中，只占用几条记录的内存​

​

​

​

人生路且修且行
关注
专栏目录
reduce源码分析
u013343599的博客
04-11 430
初学mapreduce源码分析 reduce reducetask.run(); 在类reducetask中run方法：由yarnchild调用 run方法中：RawKeyValueIterator rIter = null;此类为迭代器reducer类中的reduce方法中参数（key ， Iteractor values，context）中的 Iteractor values也是一个一个的ke...
reduce原理-源码（spark3.0）
啊李
09-01 190
是一个action算子，在这个方法里面调用了sc.runJob； 这个方法中定义了两个函数一个是局部聚合函数一个是全局聚合函数(merge分区的结果的)，局部聚合函数中调用了TraverableOnce.reduceLft方法 /** * Reduces the elements of this RDD using the specified commutative and * associative binary operator. */ def re...
OpenCV:reduce源码解析
狒狒空空
06-10 380
1.Demo /** * @file core_reduce.cpp * @brief It demonstrates the usage of cv::reduce . * * It shows how to compute the row sum, column sum, row average, * column average, row minimum, column minimum, row maximum * and column maximum of a cv::Mat. *
JS:reduce() 源码解析
weixin_33744141的博客
04-20 1234
Array.prototype.reduce(callback, initialValue?)nitialValue为可选，写了nitialValue值那么函数的初始值为该nitialValue值，如果没有，那么函数数组的第一个值为初始值。 var arr = [1,2,5,50,3]; //没有传入初始值 var a = arr.reduce(function(preTotal, ele, ...
map reduce 源码分析流程
08-21
map reduce的全部执行流程，源码分析视图
shuffle的关键阶段sort(Map端和Reduce端)源码分析
08-26
shuffle 的关键阶段 sort（Map 端和 Reduce 端）源码分析 在 Hadoop 的 MapReduce 框架中，排序是 shuffle 过程中的一个关键阶段。排序的目的是将数据按照特定的顺序排列，以便于后续的处理。今天，我们将深入分析 ...
ConcurrentHashMap 源码分析09函数篇之 reduce 详解
weixin_44245828的博客
12-09 730
与 forEachTask 类似，new 对应的内部类，执行 invoke() 方法，底层调用 compute() 方法。 1. reduce 相关函数 public <U> U reduce(long parallelismThreshold, BiFunction<? super K, ? super V, ? extends U> transformer, BiFunction<? sup.
MapReduce源码分析总结
热门推荐
和大黄的博客
07-10 2万+
参考：  1 caibinbupt的源代码分析http://caibinbupt.javaeye.com 2 coderplay的avaeye  http://coderplay.javaeye.com/blog/295097 http://coderplay.jav
MapReduce中reduce端的源码分析
wyqwilliam的博客
09-23 696
MapReduce中reduce端的源码分析： 父类依然有run方法，依然有上下文，并且在上下文会判断 其实在里边传递的是迭代器对象 reduce端完成三种事情： ①：shuffle，就是拉取数据 ②：sort就是排序 ③：reduce就是按组计算  只有在map端才是真正的排序，其他的都是归并排序，内部有序，外部无序 一共做了三件事情： shuffle的过程：   ...
MapReduce原理入门（附源码解析）
qq_40852073的博客
07-09 932
序言 本篇旨在介绍MapReduce的原理及实现细节，一些核心步骤会附带源码解析。MapReduce是配合HDFS产生的，HDFS负责分布式存储，MapReduce负责分布式计算。虽然已经有很多技术成熟的框架计算速度远超过MapReduce，如Spark，但是作为分布式计算的开山鼻祖，MapReduce的思想足够经典，仍然值得学习。 本文面向入门读者，不需要过多的编程基础，不过建议先阅读上一篇：HDFS原理入门。 什么是分布式计算？ 当某文件数据很大（可能有几百TB），分布的存储在各个机器时，如果需要对文件
手写实现一个reduce的源码
weikehang的博客
05-22 2462
/** * * @param callback 为传入的回调函数 * @param prev 为初始值 */ Array.prototype.reduce = function (callback,prev) { //遍历this 数组 for (let i = 0; i < this.length; i++) { //判断有没有设置初始值 ...
hadoop源代码学习分析-----mapper和reduce
allowancedebug的博客
05-26 1553
首先初入hadoop家族，了解了一些hadoop运行作业的基本流程， 由于对编写八股文形式的hadoop程序缺少认知，所以翻了翻源代码。 首先有关继承mapper类的源代码主要由几个方法组成 其中map函数是最经常被重写的 源码中只是运用了封装好了的输出类型的Context进行了简单的输出。 听说技术高超的人会重写run方法： setup函数会在执行map任务之前调用一次 ...
arr.reduce使用和源码实现
weixin_43473114的博客
08-07 559
1. reduce的使用 数组方法 reduce 用来迭代一个数组，并且把它累积到一个值中。 使用 reduce 方法来让 array 中的所有值相加。 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>reduce的使用</title> </head> <body> <script> var arr = [1, 2, 3,
Scala简化|归约reduce方法源码解析
FlatTiger的博客
03-09 501
作用 将同一集合中的元素进行聚合。 val list1: List[Int] = List(1, 2, 3, 4, 5, 6) println(list1.reduce(_ + _)) // 21 // reduce底层调用的是reduceLeft，从左到右，两两元素进行聚合 println(list1.reduce(_ - _)) // -19 println(list1.reduceRight(_ - _)) // -3 reduce和reduceLeft reduce底层调用的就是
Shuffer reduce端源码分析
qq_34132046的博客
05-25 229
Hadoop会在适当的时候启动ReduceTask：条件待定？？ ReduceTask.run(）会先用反射构造ShuffleConsumerPlugin类（接口类）的实例，ShuffleConsumerPlugin的实现类默认为Shuffle类： Class<? extends ShuffleConsumerPlugin> clazz = job.getClass("mapreduce.job.reduce.shuffle.consumer.plugin.class", Shuffle.cla
MapReduce源码分析——ReduceTask流程分析
SmallCatBaby的博客
05-13 572
前言 Reduce会从Mapper任务中拉取很多小文件，小文件内部有序，但是整体是没序的，Reduce会合并小文件，然后套个归并算法，变成一个整体有序的文件。 Reducer 主要有3个基本的过程： 1.Shuffle阶段 Reducer会通过网络IO将Mapper端的排序输出给复制过来。 2.Sort阶段 按key对reducer输入进行排序（因为不同...
YARN源码分析(八)-----Reduce Shuffle过程分析
走在前往架构师的路上
10-04 4964
前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.
2015.07.20MapReducer源码解析（笔记）
weixin_30889885的博客
09-12 204
MapReducer源码解析（笔记） 第一步，读取数据源，将每一行内容解析成一个个键值对，每个键值对供map函数定义一次，数据源由FileInputFormat:指定的，程序就能从地址读取记录，读取的记录每一行内容是如何转换成一个个键值对？Mapper函数是如何调用键值对？这是由InputFormatClass完成的，它在我们的例子中的具体实现类是TextInputFormat（Tex...
Hadoop MapReduce 源码分析与工作流程解析
"Hadoop MapReduce源码分析概览" Hadoop MapReduce是一种分布式计算框架，主要设计用于处理和存储大规模数据集。MapReduce的工作流程基于两个主要阶段：Map阶段和Reduce阶段，这两个阶段由JobTracker协调，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值