hadoop setSortComparatorClass和setGroupingComparatorClass的作用及异同

最新推荐文章于 2021-05-23 14:51:57 发布
最新推荐文章于 2021-05-23 14:51:57 发布
阅读量4.7k 收藏
点赞数 1
分类专栏： HADOOP 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XiaoErQiang/article/details/53678847
版权

  Reduce的原理：在reduce阶段，reducer接收到所有映射到这个reducer的map输出后，也是会调用job.setSortComparatorClass设置的key比较函数类对所有数据对排序。然后开始构造 一个key对应的value迭代器。这时就要用到分组，使用jobjob.setGroupingComparatorClass设置的分组函数类。


也就是说 在reduce接受数据阶段，

setSortComparatorClass是对key进行的排序处理，setGroupingComparatorClass是对相同值的value进行排序处理

小二强
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
MapReduce实现二次排序
YF_Li123的博客
09-09 1390
默认情况下，Map输出的结果会按照key进行排序，但在实际的应用中，有时间我们不仅要对key进行排序，同时还要对value进行排序，这时候就要用到mapreduce中的二次排序。 一、 二次排序原理分析 我们对二次排序分为以下几个阶段: （1）Map起始阶段 在Map阶段，通过job.setInputFormatClass()定义的InputFormat，将输入的数据集切分成小的split，同时InputFormat提供一个RecordRead...
MapReduce 中的 setGroupingComparatorClass
说文科技，做有态度的研究。
01-10 1454
MapReduce 中的 setGroupingComparatorClass 1. setGroupingComparatorClass是什么? 对发往reduce的 键值对进行分组操作。 2. setGroupingComparatorClass有什么作用? job.setGroupingComparatorClass(....class); 如果连续**（注意，一定连续）**的两条或多条记录...
hadoop job.setSortComparatorClass和job.setGroupingComparatorClass
epitomizelu的专栏
05-23 505
一，job.setPartitionerClass(PartitionClass.class); 作用：对key取hash值(或其它处理)，进入不同的reduce 二，job.setSortComparatorClass 对进入同一个reduce的 键 或键的部分 进行排序，按照情况需要； 三，job.setGroupingComparatorClass 进入同一个reduce的key是按照顺序排好的，该类使得： 如果连续（注意，一定连续）的两条或多条记录满足同组（即compare方法返回0）的条件，
mr 过程setSortComparatorClass和setGroupingComparatorClass
yancychas的博客
11-14 986
代码：Customer.upsmart.recommend.TestReduceSort job.setPartitionerClass(PartitionClass.class); 对key取hash值(或其它处理)，进入不同的reduce job.setSortComparatorClass(SortComparator.class); 对进入同一个reduce的 键  或键的部分 进...
java sort set_Java Job.setSortComparatorClass方法代码示例
weixin_33685133的博客
02-16 171
import org.apache.hadoop.mapreduce.Job; //导入方法依赖的package包/类private void testComparator(String keySpec, int expect)throws Exception {String root = System.getProperty("test.build.data", "/tmp");Path inD...
MapReduce过程中setPartitionerClass、setSortComparatorClass和setGroupingComparatorClass三者关系
温一杯酒的博客
03-27 1785
job.setPartitionerClass(PartitionClass.class); 对key取hash值(或其它处理)，指定进入哪一个reduce job.setGroupingComparatorClass(Grouptail.class); 满足同组条件的进入同一个Interator，执行同一个reduce方法； job.setSortComparatorClass(SortComp...
Hadoop自定义排序和自定义数据类型使用（setSortComparatorClass和setGroupingComparatorClass）
quickKnower技术学习天地
03-31 5557
1    Mapper public class SortMapper extends Mapper{ public TextInt textInt = new TextInt(); public IntWritable intp = new IntWritable(0); @Override protected void map(Object key, Text value,
Hadoop-HDFS安装和管理.doc
最新发布
09-18
Hadoop_HDFS安装和管理
深入理解Hadoop集群和网络
03-02
：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的...
使用Linux和Hadoop进行分布式计算
02-27
本文内容包括：先决条件Hadoop架构HDFSHadoop应用程序Hadoop的其他应用程序结束语参考资料人们每天都依赖搜索引擎以从Internet的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是Apache的...
GroupingComparator分组（辅助排序）的作用以及GroupingComparator分组案例实操
qq_43193797的博客
01-08 2235
问题分析： partioner是在MapTask阶段将数据写入环形缓冲区中进行的分区操作，其目的是为了划分出几个结果文件（ReduceTask，但是partioner必须小于ReduceTask个数），而是什么决定将一组数据发送给一次Reduce类中的reduce方法中呢？换句话说，Reduce类中的reduce方法中key一样，values有多个，是什么情况下的key是一样的，能不能自定义。其...
Hadoop框架排序和分组的理解 GroupingComparator
hellojoy的博客
06-05 2214
MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般，将排序以及Map的输出传输到Reduce的过程称为混洗（shuffle)。每一个Map都包含一个环形的缓存，默认100M，Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时（阈值默认的大小是缓存的80%），一个后台线程负责将结果写到硬盘，这个过程称为“spill”。Spill过程中，Map仍可以向缓存写入结果...
Hadoop框架排序和分组的理解
坐禅小和尚的专栏
05-28 7231
MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般，将排序以及Map的输出传输到Reduce的过程称为混洗（shuffle)。每一个Map都包含一个环形的缓存，默认100M，Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时（阈值默认的大小是缓存的80%），一个后台线程负责将结果写到硬盘，这个过程称为“spill”。Spill过程中，Map仍可以向缓存写入结果
Partitioner, SortComparator and GroupingComparator in Hadoop
十万小时之旅
12-12 127
hadoop 0.20.2 api里面，作业被重新定义到了类 org.apache.hadoop.mapreduce.Job。 它有3个特别的方法： job.setPartitionerClass(Partitioner p); job.setSortComparatorClass(RawComparator c);job.setGroupingComparatorClass(Raw...
Hadoop--MapReduce总结
qq_46893497的博客
12-06 318
MapReduce是什么? MapReduce：分布式编程模型 本质：通过MR的API，帮助我们实现开发一个分布式的程序 理解：MapReduce就是一套已经将分布式的框架给你写好的模板 只要调用MapReduce的API来进行开发程序，这个程序开发好就是分布式的程序 程序的类型，提供了分布式的程序 帮你快速开发构建分布式程序 举例： 需求：1加到9 Map阶段：负责将整个大的程序的业务逻辑，拆分成多个小的程序的业务逻辑 这每个小的任务会由YARN分配在每台机器上进行计算 每个小的任务会得到一个
Mapreduce中的 自定义类型、分组与二次排序
Dino系我的专栏
05-06 2445
MapReduce中的自定义类型，分组函数、二次排序问题 job.setSortComparatorClass job.setGroupingComparatorClass
2.Hadoop和 Apache spark的异同
03-31
Hadoop和Apache Spark都是用于大数据处理的开源工具，它们的异同如下： 1. Hadoop和Apache Spark的数据处理方式不同。Hadoop采用MapReduce来处理数据，而Apache Spark采用内存计算技术，速度更快。 2. Hadoop和...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值