hadoop里shuffle中的环形缓冲区

最新推荐文章于 2024-05-08 05:00:00 发布
最新推荐文章于 2024-05-08 05:00:00 发布
阅读量5.8k 收藏 14
点赞数 3
分类专栏： hadoop 文章标签： shuffle 环形缓冲区 hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42252211/article/details/80939526
版权

最近在看<<Hadoop技术内幕>>里面对shuffle中"奇迹发生的地方"有比较细致的叙述

在这整理一下：

        在mapper端业务逻辑走完后，调用MapOutputCollector.collect()输出结果，其中MapOutputCollector这个接口有两个实现类MapOutputBuffer和DirectMapOutputCollector，后者是在没有ReduceTask时调用的直接写入HDFS，而前者就是环形缓冲区所在地。

        MapOutputBuffer采用二级索引结构，涉及三个环形内存缓冲区kvoffsets(键值对索引的偏移量)、kvindices(分区信息、键值对索引)、kvbuffer(键值对具体的值)，总大小在配置文件中io.sort.mb属性设置(默认为100mb)。

        


        缓冲区采用典型单生产者消费者模型。MapOutputBuffer的collect方法和MapOutp

最低0.47元/天 解锁文章
南瓜饼的天空
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构
专注大数据技术以及行业解决方案
11-01 1万+
一.什么是hadoop 环形缓冲区: Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解 二.初始化mr环形缓冲区(maptask.MapOutputBuffer
Hadoop Shuffle过程全解析
03-19
Hadoop Mapreduce过程shuffle过程全解析，Shuffle过程
环形缓冲区-Hadoop Shuffle过程中的利器
微信搜：import_bigdata，大数据领域硬核原创作者
02-09 637
这篇文章来自一个读者在面试过程中的一个问题，Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。环形队列是在实际编程极为有用的数据结构，它是一个首尾相连的FIFO的数据结构...
C语言知识点 - 001：环形缓冲区Ring Buffer详细分析记录
最新发布
梦想技术家
05-08 657
称作，也称作环形队列（circular queue），是一种用于表示一个固定尺寸、头尾相连的缓冲区的数据结构，适合缓存数据流。如下为的概念示意图。在任务间的通信、串口数据收发、log缓存、网卡处理网络数据包、音频/视频流处理中均有的应用。在的和文件中，内核文件kfifo.h和kfifo.c中也有的代码实现。由于计算机内存是线性地址空间，因此需要特别的算法设计才可以从逻辑上实现。先不要想的具体实现细节，来看一个简单的例子。如下是一个空间大小为。
hadoop之Shuffle过程中的环形缓冲区原理
xiaoxi_hahaha的博客
12-09 2547
一 概念 1. 什么是Shuffle过程？ Shuffle过程是指Map方法之后，Reduce方法之前的数据处理过程。 2.什么是hadoop环形缓冲区？ hadoop的环形缓冲区其实只是一个简单的buffer，在这里是一个缓存数组（byte），默认大小是100M，源码如下： 3.什么是equator（赤道）？ 最初的时候，equator在数组的最前端，可以将数组想象为环形，首尾相接，此时，equator就既在数组的开头，又在数组的结尾 二 环形缓冲区原理 ..
java 环形缓存_shuffle 中环形缓冲区
weixin_31965935的博客
02-25 687
shuffle中环形缓冲区使用于map shuffle阶段存放map的缓存数据，当缓冲区的数据达到一定比率(80%)就会将缓冲区的数据刷写到磁盘文件中，在刷盘之前，会对数据分区、排序、合并，对缓冲区的操作是边写入边读取的过程，二者互不影响，提升写入的速率，读写过程就是一个生产者、消费者模式，生产者向环形缓冲区中写入数据，消费者从环形缓冲区中读取数据并且写入磁盘。环形缓冲区在物理上是一组连续的空间地...
环形缓冲区实现原理
06-02
读指针指向环形缓冲区中可读的数据，而写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针，可以实现缓冲区的数据读取和写入。 在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写...
hadoop shuffle和排序1
08-08
在Hadoop MapReduce框架中，shuffle和排序是两个至关重要的步骤，它们发生在map阶段和reduce阶段之间，确保数据被正确地处理和聚合。下面将详细解释这两个概念以及它们的工作流程。 首先，shuffle（洗牌）过程是...
Hadoop 2.7.1 中文文档
11-30
3. **YARN（Yet Another Resource Negotiator）**：在Hadoop 2.x版本中引入，作为资源管理器，负责集群中的任务调度和资源分配，将原本在MapReduce中的资源管理和计算任务分离，提高了系统的灵活性和效率。...
hadoop 中文手册
04-25
hadoop 中文手册 Hadoop文档 下面的文档是一些概念介绍和操作教程，可帮助你开始使用Hadoop。如果遇到了问题，你可以向邮件列表求助或者浏览一下存档邮件。 Hadoop快速入门 Hadoop集群搭建 Hadoop分布式文件系统...
Shuffle Accounting buffer （环形缓冲区）
大师兄你家猴跑啦的博客
04-04 257
一 Map Parameters 详细研究 MapReduce 的技术官方文档时，发现在讲解Map的参数时候提到了元数据存储在 accounting buffer，是在不懂这个是什么鬼，附 MapReduce 的技术官方文档原文： A record emitted from a map will be serialized into a buffer and metadata will be stored into accounting buffers. As described in the fol.
【Hadoop】mapreduce环形缓冲区
BIG BOSS的博客
09-09 3272
mapreduce过程解析 数据在map中怎么写入磁盘？ 数据：经过map逻辑处理过后的数据（key,value）… 磁盘：本地磁盘 环形缓冲区 1.为什么要环形缓冲区？ 答：使用环形缓冲区，便于写入缓冲区和写出缓冲区同时进行。 2.为什么不等缓冲区满了再spill? 答：会出现阻塞。 3.数据的分区和排序是在哪完成的？ 答：分区是根据元数据meta中的分区号partition来分区的，排序是...
hadoop环形缓冲区原理
m0_67991849的博客
05-11 1164
hadoop环形缓冲区
Hadoop原理之环形缓存区运行机制
LOGAN'S BLOG
08-30 866
环形缓存区是mapreduce中map阶段处理和存储数据的后半段过程，主要负责处理map()方法输出的kv数据 实际上，环形缓存区是一个缓存数组，
（转载）环形缓冲区的实现原理（ring buffer） .
mrwangwang的专栏
10-15 1668
环形缓冲区的实现原理（ring buffer）     在通信程序中，经常使用环形缓冲区作为数据结构来存放通信中发送和接收的数据。环形缓冲区是一个先进先出的循环缓冲区，可以向通信程序提供对缓冲区的互斥访问。 1、环形缓冲区的实现原理 环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓
mr环形缓冲区倒排索引反向溢写
weixin_43805212的博客
12-15 2114
发生在环形缓冲区溢写的快排序阶段 排序阶段，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。 分区分完后，如果同一个分区内数据的key相同就不需要进行排序， 例如 一个分区内排序排完的数据为[a,1],[a,2],[c,1],[b,1] 那么因为索引0和1的key是相同的所以他们两个之间是不需要排序的，所以倒排序后的索引和数据为 [c,1],[b,1][a,1],[a,2] 然后往外溢写的时候也是反向溢写，所以输出顺序为[a,2][a,1],[b,1],[c,1] 总结：就
简要描述hadoop的shuffle过程环形缓冲区的作用
05-09
Hadoop的Shuffle过程是指在MapReduce任务中，将Map任务的输出结果按照Key值进行排序和分组，然后传输给Reduce任务进行进一步处理的过程。环形缓冲区是Shuffle过程中的一个重要组件，它的作用是用于存储Map任务的输出结果，并对数据进行排序和分区。 具体来说，环形缓冲区采用了一种环形的数据结构，可以容纳一定数量的键值对。当Map任务输出的键值对数量超过了环形缓冲区的容量时，就会触发溢写操作，将缓冲区中的数据写入磁盘临时文件中，以释放缓冲区的空间。同时，缓冲区中的数据会被按照key值进行排序和分区，以便于后续的数据传输和Reduce任务的处理。 总的来说，环形缓冲区在Shuffle过程中起到了缓存、排序、分区等多个重要作用，能够提高MapReduce任务的性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值