Map阶段环形缓冲区详细分析

最新推荐文章于 2023-10-31 15:39:59 发布
最新推荐文章于 2023-10-31 15:39:59 发布
阅读量2.3k 收藏 6
点赞数
分类专栏： hadoop 文章标签： Map阶段环形缓冲区详细分析 map
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42244078/article/details/100708371
版权

在这里插入图片描述

Map阶段环形缓冲区详细分析

  • 这几天不是很忙，抽了点闲着的时间回头看了一下hadoop，看到map阶段的环形缓冲区想到自己刚开始的的时候每太弄明白，这次好好仔细看了一下，顺便把学习成果记录了下来
  • 在map阶段，每个map都有一个环形缓冲区，用于存储map的输出。这个环形缓冲区的默认大小是100MB，一旦数据达到我们的阈值0.8（可修改）的时候，会有一个后台线程将内容溢写到磁盘的指定目录下的一个新建的文件中。
  • 在这里插入图片描述
  • 内容溢写出去以后形成一个个文件，我们首先键这些文件进行分区排序得到一个排序后的文件
  • 这是会为每个文件的不同分区进行一个简单的combiner聚合操作（主要是为了减少数据量，减少后面所需要的IO的时间）
  • 我们将一个map产生的不同的文件进行一个简单的合并 在进行压缩后shuffle的磁盘中
  • 然后就就是后面的reduce操作了
  • 结合上面的图来说 这个过程还是很简单明了的
点点滴滴z
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
《MapReduce 4》--自定义分区、shuffle技术、环形缓冲区(MapOutputBuffer源码解析)、Maptask源码解析
yk_3215123的博客
05-22 1064
如何自定义分区: 原理：int getPartition(LongWritable key, Text value, int numPartitions) 此方法的返回值为分区的索引(分区就是由索引作为唯一标识符)， 该方法确定当前key/value属于哪个索引对应的分区。 由于 if (parti...
08-MapTask工作机制
huaxing_ba的博客
05-16 307
题目： 画出MapTask工作流程，并描述信息 答案： （1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value （3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的k
map的环形内存缓冲区
Thinking in Hadoop
07-11 881
hadoop在执行MapReduce任务时，在map阶段，map函数产生的输出，并不是直接写入磁盘的。为了提高效率，它将输出结果先写入到内存中（即环形内存缓冲区，默认大小100M），再从缓冲区（溢）写入磁盘。 下面我们就来看看这段代码。 [size=medium][b]1、找到环形内存缓冲区[/b][/size] 在运行job时，有条输出： 09/04/07 12:34:35 ...
MapReduce环形缓冲区底层实现
大数据精读周刊
01-31 3238
环形缓冲区底层实现 首先明白改过程发生在Map——Collect阶段：在用户编写的map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分片（通过调用Partitioner），并写入一个环形内存缓冲区中。 MapOutputBuffer内部使用了一个缓冲区暂时存储用户输出数据，当缓冲区使用率达到一定阈值后，再将缓冲区中的数据写到磁盘上。 数据缓冲区的设计方式直接影响到Map Task的写效率，而现有多种数据
maptask 的环形缓冲区 重点理解介绍
zengxianglei的博客--手指星辰 奈何天！
05-20 2043
maptask 的环形缓冲区 重点理解介绍 接下来，会将数据写入内存，内存中这片区域叫做环形缓冲区，缓冲区的作用是批量收集map结果，减少磁盘IO的影响。我们的key/value对以及Partition的结果都会被写入缓冲区。当然写入之前，key与value值都会被序列化成字节数组。 环形缓冲区其实是一个数组，数组中存放着key、value的序列化数据和key、value的元数据信息，包括part...
mr环形缓冲区倒排索引反向溢写
weixin_43805212的博客
12-15 2160
发生在环形缓冲区溢写的快排序阶段 排序阶段，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。 分区分完后，如果同一个分区内数据的key相同就不需要进行排序， 例如 一个分区内排序排完的数据为[a,1],[a,2],[c,1],[b,1] 那么因为索引0和1的key是相同的所以他们两个之间是不需要排序的，所以倒排序后的索引和数据为 [c,1],[b,1][a,1],[a,2] 然后往外溢写的时候也是反向溢写，所以输出顺序为[a,2][a,1],[b,1],[c,1] 总结：就
hashmap环形链表
fxflyflyfly的博客
12-20 742
导读：经过前面的博客总结，可以知道的是，HashMap是有一个一维数组和一个链表组成，从而得知，在解决冲突问题时，hashmap选择的是链地址法。为什么HashMap会用一个数组这链表组成，当时给出的答案是从那几种解决冲突的算法中推论的，这里给出一个正面的理由： 1，为什么用了一维数组：数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻...
MapTask阶段shuffle源码分析
08-26
创建环形缓冲区对象 `MapOutputCollector`对象是`NewOutputCollector`对象的内部类，它负责收集键值对并写入到缓存区中。`MapOutputCollector`对象的创建过程是通过反射机制来实例化的。首先，它会创建一个`Context...
MapReduce重点（Map阶段，Reduce阶段，Shuffle阶段）
码放南山
03-26 6216
一、MapReduce的工作流程 1、Map阶段 （1）读取hdfs上的文件，每个block启动一个maptask，按行读取一个block中的内容。 （2）map函数对数据split拆分，得到数组，组成一个键值对<word,1> （3）做分区对应多个reduceTask （4）分区数据，按key分组排序 （5）在map端执行小reduce，一个map中输出<key,time...
Task运行过程分析3——Map Task内部实现
热门推荐
lfdanding的专栏
05-15 1万+
Map Task内部实现 在Task运行过程分析2中提到，MapTask分为4种，分别是Job-setup Task、Job-cleanup Task、Task-cleanup Task和Map Task。其中，Job-setup Task和Job-cleanup Task分别是作业运行时启动的第一个任务和最后一个任务，主要工作分别是进行一些作业初始化和收尾工作，比如创建和删除作业临时输出目录；而
怎么计算环形缓冲区长度
dxmcu的专栏
03-01 1165
定义了一个数组 Buff[200],想把它设计成环形缓冲区,写指针：Ptr_ W读指针：Ptr_R问：这个读写之间的缓冲区的长度是怎么计算的呢，谢谢！用的c语言如果是线性的不是环形的话写指针一定需要在读指针后面这样分两种情况1： buffer未满的时候 size = ptr_w - ptr_r2: buffer满的时候ptr_w &gt; ptr_r --&gt; ptr_w - ptr_rptr...
环形缓冲区-Hadoop Shuffle过程中的利器
微信搜：import_bigdata，大数据领域硬核原创作者
02-09 656
这篇文章来自一个读者在面试过程中的一个问题，Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。环形队列是在实际编程极为有用的数据结构，它是一个首尾相连的FIFO的数据结构...
深入理解MapReduce中环形缓冲区的概念
FullStackDeveloper0的博客
10-17 7052
MapReduce过程图解： 标题 环形缓冲区图示： 环形缓冲区                      Map的输出结果是由collector处理的，每个Map任务不断地将键值对输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存空间，在内存中放置尽可能多的数据。                          这个数据结构其实就是个字节数组byte[]...
MapReduce总结
wyqwilliam的博客
11-25 291
MapReduce： 在数据被切分以后，进入map阶段，会向环形缓冲区中写入数据。环形缓冲区的大小默认是100m，split的大小默认是128M。在环形缓冲区中一边写入数据，一边写入这些数据的索引。当达到80%以后，这部分会被锁定，往剩下的20%中写入数据，一边写入索引，一边写入数据。这样值循环。假如缓冲区都写满了，数据还没有溢写到磁盘，那么map就会阻塞，不再往里边写数据了。 map端溢写的时...
MapReduce工作原理（完结）
又小雨的博客
07-06 1007
一、环形缓冲区 1.缓冲区概念 在MapTask执行自定义的计算的过程中需要执行context.write进行 输出 ，他不是直接就把结果存在了硬盘上，而是会先存在内存中 ，当都达到了 一定的条件后才会向硬盘中写文件。存在内存中的这个 区域就叫做缓冲区 缓冲区是一块内存空间，默认大小 是100M，对自定义Mapper中context.write输出进行临时存储，mapper的输出会先被计算分区编号，然后连同mapper输出的key-value一同放入环形缓冲区，当环形缓冲区存储比率达到80%的时候，会触发溢
MapReduce随笔
zfhzxg的博客
11-11 140
MapReduce高级特性 一、序列化 核心接口：Writable 如果一个类实现了Writable该类的对象可以作为Key和Value 二、排序 规则：按照Key2排序（可以是基本数据类型，也可以是对象） 基本数据类型：数字（默认升序），字符串（默认字典顺序） 可以通过创建自己的比较规则改变排序（extends IntWritable.Comparator/extends Text.C...
MapReduce环形缓冲区分析1以及知识点
最新发布
m0_52445307的博客
10-31 268
bufstart是kvbuffer存放key，value数据部分的开始位置，bufend通常等于bufstart，在溢写时等于bufindex的当前值，kvstart和kvend用于管理meta数据，类似bufstart和bufend。1、当执行mapper子类的map()方法调用context.write(key,value)时，最终会调用MapTask的collect(key,value,partition)方法将key，value和meta数据写入上述的kvbuffer。bufindex一直在增加。
MapReduce环形缓冲区MapOutputBuffer，kvBuffer分析
KeePromise的博客
12-04 1305
MapReduce环形缓冲区MapOutputBuffer，kvBuffer分析 环形缓冲区相关类和属性说明 MapTask$MapOutputBuffer 默认的环形缓冲区类，可以通过job配置文件的参数mapreduce.job.map.output.collector.class进行设置。 sorter 默认的排序类，可以通过job配置文件参数map.sort.class进行设置，此类必须是IndexedSorter类的子类。 combinerRunner combiner操作类，可以通过job配置文
65. [多选] 【多选题】下列有关环形缓冲区的说法正确的是？ A A. 环形缓冲区的默认容量是100MB B B. 环形缓冲区的默认容量是128MB C C. 当环形缓冲区被写满之后，会阻塞Map向环形缓冲区写入的线程 D D. 环形缓冲区的阈值不可被修改
06-13
B、C 环形缓冲区的默认容量是128MB，当环形缓冲区被写满之后，会阻塞Map向环形缓冲区写入的线程，因此，答案是B、C。在Hadoop中，环形缓冲区被用于Map和Reduce之间的数据传递，它具有以下特点： - 默认容量是128MB：环形缓冲区的默认容量是128MB，可以通过配置文件进行修改。 - 阻塞写入线程：当环形缓冲区被写满之后，会阻塞Map向环形缓冲区写入的线程，直到Reduce处理完数据后，Map才能继续写入数据。 - 可以被压缩：环形缓冲区中的数据可以被压缩，减少数据的传输量，提高传输效率。 - 阈值可被修改：环形缓冲区的阈值可以通过配置文件进行修改，以满足不同场景下的需求。 因此，选项B、C都是正确的。而选项A和D都是错误的，因为环形缓冲区的默认容量是128MB，而且它的阈值可以被修改。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值