Hadoop MapReduce Shuffle机制之Combiner合并 | 水一篇博客

最新推荐文章于 2022-11-30 22:29:04 发布
最新推荐文章于 2022-11-30 22:29:04 发布
阅读量236 收藏
点赞数 2
分类专栏： 大数据学习笔记 Hadoop 文章标签： 网络 java 算法 hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lesileqin/article/details/115868957
版权

Hadoop中的MapReduce是一种编程模型，用于大规模数据集的并行运算
在这里插入图片描述
下面的连接是我的MapReduce系列博客~配合食用效果更佳！

Combiner合并机制

  • Combiner合并也属于Shuffle机制
  • Combiner的父类是Reducer
  • Combiner和Reducer的区别在于运行时的位置
    • Combiner是在每一个MapTask所在的节点运行的
    • Reducer接收全局所有Mapper的输出结果
  • Combiner的意义就是对每一个MapTask的输出进行局部汇总，主要目的是为了减小网络的传输量
  • 并不是所有的场景都能适用Combiner，一般主要用于求和操作

实现Combiner的步骤就是继承Reducer，最后在Driver类通过setCombinerClass(类.class)设置进去就好了

lesileqin
关注
专栏目录
大数据｜MapReduce模型 | Hadoop MapReduce的基本工作原理
知识库搭建ing
03-29 1415
MapReduce模型 | Hadoop MapReduce的基本工作原理
【Hadoop】【 MapReduce】【shuffle机制 】【03】 Combiner
weixin_43589563的博客
09-26 178
Combiner合并 combiner就是运行在Mapper端的reduce 预聚合 减少IO数据量，和Reduce数据处理量 combiner既然是聚合，那么只适合sum\count 需求 统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能 注意：如果不要reduce，就会没有shuffle阶段，就不会有combine job.setNumReduceTasks(0); 如果reduce和combiner的逻辑相同，可以将reduce和combi
【hadoop】24.MapReduce-shuffle之合并
weixin_34160277的博客
01-12 184
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop细节——shuffle和combiner
坚持到底
11-27 1830
1.将map输出传给reduce过程中需要排序（按键排序）的过程——shuffle。 2.每个map任务都有一个环形内存缓冲区（默认为100MB，可以通过改变io.sort.mb属性来调整），用于存储任务的输出，当缓冲区到达阀值时（io.sort.spill.percent,默认为0.8），新建一个溢出写文件，把内容写到磁盘，写磁盘将按照轮询方式写到mapred.local.dir所指定的目录。
Shuffle和Combiner区别详解
搬砖的鱼的博客
11-19 875
概述 1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； 2）shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）； 3）具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序。 2.4.2 Shuffle结构 Shuffle缓存流程： shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和re
Hadoop中Combiner的使用
热门推荐
iPolaris的专栏
03-26 2万+
在MapReduce中，当map生成的数据过大时，带宽就成了瓶颈，怎样精简压缩传给Reduce的数据，有不影响最终的结果呢。有一种方法就是使用Combiner，Combiner号称本地的Reduce，Reduce最终的输入，是Combiner的输出。下面以《Hadoop in action》中的专利数据为例。我们打算统计每个国家的专利数目。代码如下(使用Combiner的代码注释掉)： pack
hadoop之MapReduce的shuffle的Combiner
qingwufeiyang_530的专栏
09-21 109
Combiner合并 1）Combiner是MR程序中Mapper和Reducer之外的一种组件； 2）Combiner组件的父类就是Reducer； 3）Combiner和Reducer的区别在于运行的位置； Combiner是在每一个MapTsk所在的节点运行； Reducer是接受全局所有Mapper的输出结果； 4）Combiner的意义就是对每一个MapTask的输出进行局部汇总，以减小网络传输量。 5）Combiner能够应用的前提是不能影响最终的业务逻辑，而且，...
Hadoop基础【MapReduce中的Shuffle机制】
weixin_43923463的博客
03-14 2223
配置HDFS的StaticUser 配置完成之后，可以在浏览器上实现对集群的管理（创建文件夹，删除文件夹等） cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim core-site.xml <property> <name>hadoop.http.staticuser.user</name> <value>hike</value> </property> xsync
Hadoop MapReduce Shuffle 过程解析
超越时代
02-28 636
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。 Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。 为什么M...
浅谈Hadoop中的shuffle机制
最新发布
m0_52931616的博客
11-30 1025
浅谈Hadoop中的shuffle机制、解析源码各个类和方法的作用以及优化策略
MapReduce 的 Shuffle 机制
weixin_44387652的博客
02-25 1235
MapReduce 的 Shuffle 机制1、概述2、主要流程3、详细流程4、流程图5、MapReduce 超详细执行流程解读 1、概述 1、MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中最关键的一个流程，这个流程就叫 Shuffle。 2、Shuffle: 数据混洗 ——（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并排序）。 3、具体来说：就是将 MapTask 输出的处理结果数据，按照 Partitioner 组件制定的规
MapReduce内部shuffle过程详解（Combiner的使用）
汤小萌的博客
11-14 4071
Maptask调用一个组件FileInputFormat FileInputFormat有一个最高层的接口 --&gt; InputFormat 我们不需要去写自己的实现类，使用的就是内部默认的组件：TextInputFormat maptask先调用TextInputFormat, 但是实质读数据是TextInputFormat调用RecordReader。 RecordReader 是一个...
Hadoop入门（九）Mapreduce高级shuffle之Combiner
茅坤宝骏氹的博客
10-06 388
一、Combiner的出现 （1）为什么需要进行Map规约操 作 在上述过程中，我们看到至少两个性能瓶颈： （1）如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网络压力，同样也可以大幅度提高程序效率。 总结：网络带宽严重被占降低程序效率； （2）假设使用美国...
Hadoop中的shuffle、partition和combiner
10-24 2634
如大家所知道的，Hadoop的计算框架主要是两个过程分别是map和reduce，但是还有好几个过程和性能调优有关。如：shuffle、partition和combiner。 shuffle：数据从map端传输到reduce端的过程。 计算框架总体的过程如下： map阶段：从磁盘读入数据 --> map函数 --> combine结果（非必需的过程）--> 结果写回磁盘。 map阶段
Hadoop 编写集群统一启动停止脚本 | 查看所有服务器Java进程脚本
lesileqin的博客
04-04 4640
文章目录一、Hadoop集群启停脚本 myhadoop.sh1、编写脚本2、脚本解读3、测试二、查看三台服务器Java进程脚本 jpsall1、编写脚本2、脚本解读3、测试三、脚本分发 在配置两个脚本之前，需要配置好ssh免密登陆 一、Hadoop集群启停脚本 myhadoop.sh 1、编写脚本 在用户家目录的bin下，创建脚本myhadoop.sh [wzq@hadoop102 ~]$ cd /home/wzq/bin/ [wzq@hadoop102 bin]$ vim myhadoop.sh 将
Hadoop HDFS 读写流程 | 图文详解
lesileqin的博客
04-14 4535
文章目录一、HDFS写数据流程1、文件写入流程2、网络拓扑 - 节点距离计算3、机架感知（副本存储节点选择）二、HDFS读数据流程 一、HDFS写数据流程 1、文件写入流程 下图为文件写入流程剖析图： 想要上传一个200M的文件ss.avi到HDFS，它的写入流程是这样的： 客户端创建Distributed FileSystem，该模块向HDFS的老大哥NameNode请求上传文件ss.avi 老大哥NameNode是个做事很守规矩的人，所以他要检查权限和目录结构是否存在，如果存在就向Distribu
Hadoop HDFS 常用Shell命令 | 图文详解
lesileqin的博客
04-05 3822
文章目录一、命令大全二、上传1、-mkdir 创建文件夹2、-moveFromLocal 从本地剪切粘贴到HDFS3、-copyFromLocal 或 -put从本地复制到HDFS4、-appendToFile 追加一个文件到已存在的文件末尾三、下载-copyToLocal 或 -get 从HDFS拷贝到本地四、HDFS直接操作1、-ls 显示目录信息2、-cat 显示文件内容3、-chgrp、-chmod、-chown 修改文件所属权限4、-cp 或 -mv 从HDFS的一个路径拷贝或移动到HDFS的另一
Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接
lesileqin的博客
04-07 3392
文章目录一、下载Hadoop客户端环境二、配置Hadoop环境变量三、在IDEA创建Maven工程 一、下载Hadoop客户端环境 Hadoop客户端环境与所需要微软运行库 链接：https://pan.baidu.com/s/1pjDSImaztgGUIOj7dMUTEQ 提取码：7qrk 二、配置Hadoop环境变量 将下载的Hadoop依赖包放在一个非中文且不能有空格存在的路径中！ 右键单击此电脑=>属性=>高级系统设置=>高级=>环境变量，到如下图所示的界面： 点击系统
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值