Map Reduce Shuffle(洗牌)

最新推荐文章于 2021-11-25 13:54:15 发布
最新推荐文章于 2021-11-25 13:54:15 发布
阅读量255 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42806727/article/details/89095307
版权
本文介绍了MapReduce中InputFormat和OutputFormat的作用，强调了Mapper输出key/value的一致性要求。接着详细讲解了Map Reduce Shuffle的过程，包括解决Jar包依赖、数据清洗、降噪以及如何干预分区策略以避免数据倾斜。还提到了开启Map端压缩以优化网络带宽，并解释了CombinerReducer的工作原理。最后，文章提供了与MapReduce和HDFS相关的其他主题链接。
摘要由CSDN通过智能技术生成

InputFormat/OutputFormat

在这里插入图片描述

InputFormat&OutputFormat

  • InputFormat

    • FileInputFormat

      • TextInputFormat
      key/Value  :key表示行字节的偏移量、value表示一行文本数据
切片计算规则 :以文件为单位，以SpliSize做切割
      • NlineInputFormat
      key/Value  :key表示行字节的偏移量、value表示一行文本数据
切片计算规则 :以文件为单位，以n行作为一个切片

      mapreduce.input.lineinputformat.linespermap=1000控制一个切片的数据量

      • KeyValueTextInputFormat
      key/Value  :key 、value使用`\t`分割一行数据（默认）
切片计算规则 :以文件为单位，以SpliSize做切割

      mapreduce.input.keyvaluelinerecordreader.key.value.separator=\t

      • SequenceFileInputFormat
      • CombineTextInputFormat
      key/Value  :key表示行字节的偏移量、value表示一行文本数据
切片计算规则 :以SpliSize做切割

      可以解决小文件计算，优化MR任务。要求所有小文件格式必须一致

    • MultipleInputs

    解决不同格式输入的数据，要求Mapper端输出的key/value必须一致。

    • DBInputFormat
    • TableInputFormat(第三方)

  • OutputFormat

    • FileOutputFormat
      • TextOutputFormat
      • SequenceFileOutputFormat
      • LazyOutputFormat
    • MultipleOutputs
    • DBOutputFormat
    • TableOutputFormat(第三方)

Map Reduce Shuffle(洗牌)

  • 掌握MR任务提交源码流程

  • 解决MR任务计算过程中的Jar包依赖

JobSubmitter(DFS|YARNRunner)
    submitJobInternal(Job.this, cluster);
    	checkSpecs(job);#检查输出目录是否存在
    	JobID jobId
最低0.47元/天 解锁文章
遗失的风景
关注
专栏目录
mapreduce shuffle
横行的螃蟹的博客
04-06 199
一、 Map端shuffle 输入数据和执行Map任务 通过自定义Map，将输入<key,value>转换成新的<key,value>并输出 写入缓存 每个map任务都会分配一个缓存区（通过环形队列实现），默认100M，首先将map的输出写入缓存，当达到一定数量是会一次性批量写入磁盘，以减少磁盘IO操作 溢写（分区，排序，和并） 因为缓存区大小有限，为不影Map结果的写...
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程
MapReduce的洗牌(Shuffle)
weixin_30568715的博客
02-21 202
Shuffle过程：数据从map端传输到reduce端的过程~ Map端 每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。 写磁盘前，要partition,...
[大牛翻译系列]Hadoop（13）MapReduce 性能调优：优化洗牌（shuffle）和排序阶段
weixin_30794491的博客
03-15 158
6.4.3 优化洗牌（shuffle）和排序阶段 洗牌和排序阶段都很耗费资源。洗牌需要在map和reduce任务之间传输数据，会导致过大的网络消耗。排序和合并操作的消耗也是很显著的。这一节将介绍一系列的技术来缓解洗牌和排序阶段的消耗。 技术46 规避使用reduce Reduce在用于连接数据集的时候将会产生大量的网络消耗。 问题 需要考虑在MapReduce规避reduce...
Hadoop入门(9)--Map-Shuffle-Reduce
ifeng
07-30 242
本地优化-Combine 定义： 数据经过Map端输出后会进行网络混洗，经Shuffle后 进入Reduce，在大数据量的情况下会造成大量网络开销。 所以可以在本地按照key先进性一轮排序与合并， 再进行网络混洗，这个过程就是Combine 大多数情况Combine的逻辑和Reduce的逻辑是一致的 可以认为combine是对本地数据的Reduce操作 这里复用Reduce的逻辑...
用Map集合实现斗地主发牌洗牌的动作 - - 有序版本
XiaoJian的博客
08-28 742
知识点: HashMap&lt; Key,Value&gt;集合:键唯一,值可以重复! Map集合的添加方法:map.put(key,value); Map集合的获取方法:map.get(key);通过键找到值. Collections.sort(list) ; 默认进行升序排序. /* 斗地主综合案例_有序版本 实现步骤: 1.准备牌(Map...
MapReduceShuffle原理与SparkShuffle原理
02-25
Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算...
MapReduce中的shuffle
zz06251998的博客
09-03 904
霞给的烈酒，给的温柔，最后的最后，不过是一场梦~ shuffle的定义简单来说可以是洗牌，可以理解为一种让数据重新分布以使得某些数据被放在同一分区里的一种机制。Shuffle的过程中，存在着大量的网络消耗传输数据，会在磁盘上产生大量的中间文件。 在MapReduce中的shuffle分为map端与reducer端，以下是对shuffle的一些详述： Map端的Shuffle Map的输出结果首先被缓存到内存，当缓存区（环状缓冲区）达到80% （默认大小为100MB），就会启动溢写操作，当前启动..
深入分析MapReduce之Shuffle原理和数据处理流程
静待花开
03-17 1632
本文目录一、重新认识shuffle1.1、什么是shuffle？1.2、有什么作用？二、shuffle流程详解2.1、Map端shuffle流程2.1.1、整体概括（方便记忆）2.1.2、详细解析（方便理解）2.2、Reduce端shuffle流程2.2.1、整体概括（方便记忆）2.2.2、详细解析（方便理解） 一、重新认识shuffle 1.1、什么是shuffle？ shuffle在词典里的翻...
【Hadoop】：Hadoop的shuffle（混洗）过程
hxcaifly的博客
11-08 1462
1. 前言 Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方，Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图： 这张是官方对Shuffle过程的描述。但我可以肯定的是，单从这张图你基本...
hadoop_mapreduce_shuffle洗牌
子龙修仙的博客
05-19 1030
shuffle是整个mapreduce的核心。下面这篇文章写得很详细，把内容复制过来了：https://blog.csdn.net/clerk0324/article/details/52461135    其中，Step2.1就是一个Shuffle操作，它针对多个map任务的输出按照不同的分区（Partition）通过网络复制到不同的reduce任务节点上，这个过程就称作为Shuffle。   ...
简单用list和map实现斗地主洗牌
csdn1198402320的博客
05-22 155
package cclass01.set.class02; import java.util.ArrayList; import java.util.Collection; import java.util.Collections; import java.util.HashMap; import java.util.TreeSet; public class PokerDemo { /*...
利用，ArrayList,HashMap,洗牌，发牌，看牌。
徘徊在牛A与牛C之间的码农
02-19 158
package MyProject.DouDiZhu; import java.util.*; public class MoNiDouDizhuB { public static void main(String[] args) { //创建一个牌盒 HashMap<Integer, String> pukerHsMap = new Ha...
利用HashMap,按照斗地主的规则，完成洗牌发牌的动作。
weixin_44121079的博客
07-05 276
具体规则： 组装54张扑克牌将 54张牌顺序打乱 玩家参与游戏，三人交替摸牌，每人17张牌，最后三张留作底牌 查看三各自手中的牌（按照牌的大小排序）、底牌 具体代码： `public static void main(String[] args) { Map<Integer,String> poker = new HashMap<>(); List colo...
Map双列集合实现模拟斗地主洗牌发牌
zhansan的博客
11-25 3040
具体规则： ​ 1. 组装54张扑克牌 ​ 2.将54张牌顺序打乱 ​ 3. 三个玩家参与游戏，三人交替摸牌，每人17张牌，最后三张留作底牌。 ​ 4. 查看三人各自手中的牌（按照牌的大小排序）、底牌 手中扑克牌从大到小的摆放顺序：大☺,小☺,2,A,K,Q,J,10,9,8,7,6,5,4,3 package com.web; import java.util.*; public class Test48 { public static void main(String[] args) {
java中Map集合、模拟斗地主洗牌发牌、JDK9对集合添加的优化
huangyh技术栈
08-03 602
1.1 Map集合概述 Map集合概述 Map==&gt;映射（一个对应一个） Map是一个接口，只要实现了该接口的类都是双列集合。 双列集合每次存储元素时都需要存储两个元素，一个元素称为键，一个元素称为值，简称键值对。 特点：键必须唯一，值可以重复。 Map集合常用实现类 HashMap LinkedHasMap HashTable（过时了）  1.2 Map接口中的常用方法 ...
彻底理解MapReduce shuffle过程原理
jason_xiaojie_liu的博客
09-21 255
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重要的阶段：Map是映射，负责数据的过滤分发；...
MapReduce之shuffle
weixin_40652340的博客
11-16 261
彻底理解MapReduce shuffle过程原理  MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduc
MapReduce深入解析：Shuffle过程揭秘
Shuffle这个词源于扑克牌游戏中的洗牌，但在MapReduce中，它指的是对数据进行排序、分区以及归并的过程，确保正确的键值对被传递到相应的Reduce任务。 在Map阶段，每个Mapper处理输入数据并生成一系列键值对。这些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值