Hadoop中的MapReduce的shuffle过程及调优

最新推荐文章于 2021-11-04 19:45:39 发布
VIP文章 最新推荐文章于 2021-11-04 19:45:39 发布
阅读量401 收藏
点赞数 1
分类专栏： hadoop学习笔记 文章标签： Hadoop MapReduce shuffle 机制 调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yf_li123/article/details/108486472
版权

概述

Shuffle，即混洗、洗牌，顾名思义就是对数据打乱重新分配。Shuffle发生在Map输出至Reduce的输入过程之间。主要分为两部分

  1. Map任务输出的数据进行分组、合并、排序，并写入本地磁盘
  2. Reduce任务拉取数据进行合并、排序

 

Shuffle过程

 

Map端

  • Map端输出时，会先将数据写入内存的环形缓冲区，默认大小100M，可通过参数设置
  • 当缓冲区的内容大小达到阈值（默认0.8，可通过参数设置），便有一个后台线程将写入缓冲区的数据溢写到磁盘。溢写的过程中Map任务仍然可以写数据到缓冲区，一旦缓冲区写满，Map任务将会被阻塞，知道后台线程写磁盘结束
  • 数据溢写到磁盘时会计算输出key的分区，
最低0.47元/天 解锁文章
YF_Li123
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce中的shuffle过程以及优化是如何实现的
weixin_43740680的博客
07-05 636
shuffle过程key 1.shuffle的功能 分区： 决定当前key是交由哪个reduce进行处理， 默认：按照key的hash值对reduce的个数进行取余，HashPartitioner. 分组： 将相同的key进行合并； 排序： 按照 key对每一组keyvalue进行排序，默认为字典排序； 2.执行过程 ...
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程
mapreduce的shuffle及优化
weixin_42130191的博客
06-10 210
shuffle流程 map方法之后，reduce方法之前过程 shffule的过程：从map方法出来先到分区方法，然后进入缓冲环形区，进来之后进行分区和排序（左侧写数据，右侧写索引），环形缓冲是大小100M，达到80%时，就会溢写，溢写之前要对数据进行排序，排序的方法快排，要对key索引进行快排，按照字典顺序进行排序。排完序的数据进行溢写，对溢写的文件要进行归并排序，排完序之后把对应的数据放入相应的分区，等待reduce端拉去数据，reduce拉去的数据先放入内存当中，内存不足溢写到磁盘，不管内存还磁盘
mapreduce过程shuffle详解，相关优化
LeoHan
05-01 459
我们知道，在大数据计算中，MapReduce主要有如下三个流程： Map Shuffle Reduce
MapReduce全过程参数优化
狗不理的博客
11-04 449
最近花了点时间整理了一下,涵盖了全流程常见实用的调优参数. 希望能有帮助 1)Map阶段 (1) 增大环形缓冲区大小(默认100M,可以提高到200M) mapreduce.take.io.sort.mb (2)增大环形缓冲区溢写的比例(默认80%,可以提高到90%) mapreduce.map.sort.spill.percent (3)减少对溢写文件的merge次数(默认10个文件,可以增大到20) mapreduce.task.io.sort.factor (4)不影响实际业务
大数据技术 - MapReduce的Shuffle及调优
weixin_30526593的博客
04-16 186
本章内容我们学习一下 MapReduce 中的 Shuffle 过程，Shuffle 发生在 map 输出到 reduce 输入的过程，它的中文解释是 “洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：1. map 任务输出的数据分组、排序，写入本地磁盘 2. reduce 任务拉取排序。由于该过程涉及排序、磁盘IO、以及网络IO 等消耗资源和 CPU 比较大的操作，因此该过程向来是“兵...
hadoop-mapreduce-client-core-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-mapreduce-client-core-2.5.1.jar； 赠送原API文档：hadoop-mapreduce-client-core-2.5.1-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-core-2.5.1-sources.jar； 赠送Maven依赖信息文件：...
Hadoop中MapReduce框架入门
03-01
对于业界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN:Aframeworkforjobschedulingandclusterresourcemanagement.百度百科:MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算...
Hadoop-mapreduce过程.doc
06-26
此资源从跟踪源代码的角度，从客户端、JobTracker、TaskTracker、Child几个方面入手，详细记录了MapReduce的全过程。内容非常详尽，图文并茂。 非常适合想深入学习其核心原理和工作机制的朋友。
hadoop-mapreduce-client-shuffle-2.5.1-API文档-中文版.zip
07-14
赠送jar包：hadoop-mapreduce-client-shuffle-2.5.1.jar； 赠送原API文档：hadoop-mapreduce-client-shuffle-2.5.1-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-shuffle-2.5.1-sources.jar； 赠送Maven依赖...
mapreduce的shuffle
qq_27347421的博客
02-03 400
shuffle的环形缓冲区 map----shuffle过程—reduce 元数据：描述原始数据的数据 原始数据在缓冲区的位置 1）分区信息 2）原始数据key的起始位置 3）原始数据value的起始位置 4）value的长度信息 长度是固定的（4 * 16） 原始数据：序列化的数据 map输出的key 、value的键值对 环形缓冲区 byte [] 缓冲区中：分界线 辨识元...
MapReduce的Shuffle过程
momo898821的博客
03-14 4726
MapReduce的Shuffle过程原理 ...
MapReduce过程详解及其性能优化
weixin_34387468的博客
03-19 399
http://blog.csdn.net/aijiudu/article/details/72353510 废话不说直接来一张图如下：   从JVM的角度看Map和Reduce Map阶段包括： 第一读数据：从HDFS读取数据   1、问题:读取数据产生多少个Mapper？？     Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关...
超实用Hadoop的Shuffle过程优化：map端，reduce端，网络IO以及常见参数配置
不爱吃鱼的馋猫
09-06 432
Shuffle功能强大，但是Shuffle过程中多次落盘操作以及网络IO，是导致MapReduce慢的主要原因，可以尝试从以下几个方面进行优化： 1、Map阶段 （1）增大环形缓冲区大小。由100m扩大到200m （2）增大环形缓冲区溢写的比例。由80%扩大到90% （3）减少对溢写文件的merge次数。（10个文件，一次20个merge） （4）不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。 2、Reduce阶段 （1）合理设置Map和Reduce数：两个都不能设置太少
描述 mapReduce 中 shuffle 阶段的工作流程
qq_47435954的博客
08-02 681
1）maptask 收集我们的 map()方法输出的 kv 对，放到内存缓冲区中 2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 3）多个溢出文件会被合并成大的溢出文件 4）在溢出过程中，及合并的过程中，都要调用 partitioner 进行分区和针对 key 进行排 序 5）reducetask 根据自己的分区号，去各个 maptask 机器上取相应的结果分区数据 6）reducetask 会取到同一个分区的来自不同 maptask 的结果文件，reducetask 会将这些 文件
从MapReduce的Shuffle原理 进行 生产参数调优
lihuazaizheli的博客
07-29 1333
文章目录1.mapreduce的过程上图2.map 切分输入文件3.环形缓冲区3.1 原理3.2 生产调优3.2.1 mapreduce.task.io.sort.mb(default:100m)3.2.2 mapreduce.map.sort.spill.percent(default:0.80)4.数据在spill到磁盘之前会做partition,sort操作4.1 原理4.2 生产调优5. 溢写到磁盘(spill to disk)5.1 原理5.2 生产调优参数5.2.1 mapreduce.task
MapReduce调优总结
婲落ヽ红颜谇的博客
07-25 346
一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成， 其中mapper阶段包括： (1)数据的读取、 (2)map处理以及写出操作(排序和合并/sort&merge)， 而reducer阶段包含： (1...
MapReduce shuffle过程详解！
蔡政洁的博客
10-12 8039
目录一、MR的shuffle过程二、Map shuffle三、Reduce shuffle 一、MR的shuffle过程 MR的shuffle过程： input -> map -> shuffle -> reduce ->output MR的原理图： 二、Map shuffle 1.map()的数据会写入到内存（环形缓冲区：默认大小：100mb），当数据达到缓冲区总容量的80%（阈值）时，会将我们的数据spill到本地磁盘 1）分区（partitioner）：分
hadoop中mapreduce实战案例
最新发布
06-28
### 回答1： Hadoop中MapReduce实战案例有很多，以下是一些常见的案例： 1. WordCount：统计文本中单词出现的次数。 2. TopN：找出文本中出现次数最多的前N个单词。 3. 求平均值：计算文本中一列数字的平均值。 4. 倒排索引：将文本中的单词与出现的文档建立索引，方便快速查找。 5. 关联规则挖掘：通过分析大量数据，找出其中的关联规则，如购物篮分析。 6. 图像处理：通过MapReduce处理大量图像数据，如图像分类、图像识别等。 7. 推荐系统：通过分析用户行为数据，为用户推荐相关的产品或服务。 8. 日志分析：通过MapReduce处理大量日志数据，如网站访问日志、服务器日志等，分析用户行为、系统性能等。 以上是一些常见的Hadoop中MapReduce实战案例，实际应用中还有很多其他的案例。 ### 回答2： Hadoop是一个开源的分布式存储和处理大数据的解决方案，而MapReduce是Hadoop中的一种计算框架。其实战案例很多，下面就列举一些经典的案例。 1. 单词计数：在一个大文本文件中统计每个单词出现的次数，是Hadoop入门案例。MapReduce的Map函数进行分割文本并将每个单词都映射到(key,value)对上，reduce函数对同一个key的value进行合并并输出。 2. 网页排名：Google使用了PageRank算法对网页搜索结果进行排序，而这个排序算法的实现就是MapReduce模型。Map函数将网页信息和链接信息映射到(key,value)对上，reduce函数计算网页的排名并输出。 3. 日志分析：大型网站的日志通常非常庞大，Hadoop可应用于实时分析与处理这些日志。MapReduce的Map函数解析日志并提取重要信息，reduce函数进行计数统计或者聚合操作。 4. 图像处理：MapReduce模型常用于图像识别、处理和分析。Map函数把处理的图像块分配到不同的机器上，在不同的机器上并行化地处理。而reduce函数通常用于汇总结果并输出。 这些案例只是MapReduce在Hadoop中的应用之一，Hadoop还可以通过Hive、Pig等组件来对数据进行高层次的查询、脚本处理和数据分析。Hadoop在大数据领域的应用日益广泛，如商业智能、金融风控、医疗健康等，在数据收集、存储和处理中扮演着重要的角色。 ### 回答3： Hadoop是一个大数据处理平台，而MapReduce是其中最主要的一种分布式计算框架。MapReduce的核心思想是将一个大数据集拆分成多个子集，然后通过并行计算将这些子集进行处理得到最终结果。 在实际应用中，人们利用Hadoop和MapReduce来处理各种各样的大数据问题。下面我们来介绍一些MapReduce的实战案例： 1.单词统计 这是一个最简单却也最典型的案例。它的思路是读入一个大文本文件，然后将文件中每个单词逐个拆分出来，统计每个单词出现的频次，并将结果输出。这个过程可以通过MapReduce的"map"和"reduce"函数来实现。其中"map"函数负责将文本文件拆分成单词，将每个单词与1这个数字配对，并将结果输出。而"reduce"函数负责将配对结果按照单词将其分组，然后将每组中所有数字进行累加，得到每个单词的频次。 2. 声明式流媒体处理 MapReduce不仅仅是用来处理静态的大数据，还可以用来处理流媒体数据。具体来说，就是将流媒体数据流中的元素分割成小块，逐块对其进行MapReduce运算处理，得到最终结果。例如，在一个音乐流媒体应用中，我们可以通过MapReduce对歌曲库进行快速索引，以便用户能够快速检索和播放他们喜爱的歌曲。同时，在流媒体数据处理过程中，MapReduce还能够根据所处理的数据类型，自动调整MapReduce算法的参数和并行度，以确保处理效率和质量。 3.处理图形数据 图形处理是一个非常关键的应用领域。通过MapReduce计算框架，我们能够处理极大规模的图形数据集，例如在社交网络中对用户关系进行建模或者对搜索引擎中的网页链接关系进行分析。具体操作过程是，我们首先通过MapReduce的"map"函数将每个节点的邻居节点列表作为输出键值，将每个节点的ID作为输出值。然后通过MapReduce的"reduce"函数将具有相同邻居节点的节点交给同一个处理器进行处理。最终，我们得到的结果是每个节点及其所有邻居节点的详细信息。 总之，以上三个案例充分展示了MapReduce在大数据处理过程中的应用价值。作为一种分析大规模数据和自动化处理复杂问题的工具，MapReduce框架不仅使我们能够更好地管理和分析数据，而且还推动了数据处理领域的创新和发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值