GroupingComparator.txt

最新推荐文章于 2022-05-05 15:08:24 发布
最新推荐文章于 2022-05-05 15:08:24 发布
阅读量174 收藏
点赞数
分类专栏： Data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28652401/article/details/83508132
版权

1、GroupingComparator.txt 输入数据

0000001 Pdt_01  222.8
0000002 Pdt_05  722.4
0000001 Pdt_05  25.8
0000003 Pdt_01  222.8
0000003 Pdt_01  33.8
0000002 Pdt_03  522.8
0000002 Pdt_04  122.4

2、part-r-00000.txt 输出数据

3   222.8

3、part-r-00001.txt 输出数据

2   722.4

4、part-r-00002.txt 输出数据

1   222.8
黑猴子的家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Map/Reduce的GroupingComparator排序简述
dajuezhao的专栏
08-10 9994
一、背景 排序对于MR来说是个核心内容，如何做好排序十分的重要，这几天写了一些，总结一下，以供以后读阅。 二、准备 1、hadoop版本是0.20.2 2、输入的数据格式（这个很重要，看清楚格式），名称是secondary.txt： abc 12
Partitioner, SortComparator and GroupingComparator in Hadoop
07-13
在Hadoop MapReduce框架中，Partitioner、SortComparator和GroupingComparator是三个至关重要的组件，它们共同决定了数据如何被分发、排序以及分组，从而影响到整个MapReduce作业的性能和结果的正确性。接下来，我们...
MapReduce实战（七）GroupingComparator
weixin_33979203的博客
04-27 150
需求： Order_0000001,Pdt_01,222.8Order_0000001,Pdt_05,25.8Order_0000002,Pdt_05,325.8Order_0000002,Pdt_03,522.8Order_0000002,Pdt_04,122.4Order_0000003,Pdt_01,222.8 按照订单的编号分组，计算出每组的商品价格最大值。 分析： 我们可以把订单...
hadoop groupingComparator 与 secondary sort
groovy2007的专栏
03-18 1312
《hadoop权威指南》里的例子：有许多气象记录，需要找出每年的最高温度，通过secondary sort实现。（这个任务其实简单的map-reduce就可以完成，这里只是为了演示secondary sort） map-reduce的shuffle阶段，只会根据key进行排序，而同一个key的value是无序的，所以要把年份和温度都放在key里面。map的输出：key为year-temperat
【Hadoop离线基础总结】MapReduce案例之自定义groupingComparator
关于我转生变成程序猿这档事
02-25 195
MapReduce案例之自定义groupingComparator 求取Top 1的数据 需求 求出每一个订单中成交金额最大的一笔交易 订单id 商品id 成交金额 Order_0000005 Pdt_01 222.8 Order_0000005 Pdt_05 25.8 Order_0000002 Pdt_03 322.8 Order_0000002 Pdt_04 522.4 Order...
hadoop中的GroupingComparator
sinat_32329183的博客
06-26 840
转自传智播客 在日常的数据统计分析中，常常会有类似如下的求分组最大值统计需求，用到的数据示例如下： itemid    amount    date    … 10001    136.6    2015-1-12    … 10001    165.5    2015-1-12    … 10002    122.5    2015-1-12    … 10002    166.
OrderBean.java
04-11
（1）利用“订单id和成交金额”作为key，可以将map阶段读取到的所有订单数据按照id分区，按照金额排序，发送到reduce。...（2）在reduce端利用groupingcomparator将订单id相同的kv聚合成组，然后取第一个即是最大值。
Hadoop平台技术 排序操作案例.docx
07-12
- 辅助排序（GroupingComparator分组）：允许在Reduce端按特定字段对key进行分组，适用于需要相同字段key进入同一reduce的情况。 - 二次排序：在compareTo方法中设置多个判断条件，如在bean对象排序中，可以实现更...
hadoop二次排序的原理和实现方法
10-16
假设我们有一个输入文件`sort.txt`，包含多行数字，我们要按第一字段排序，相同的第一字段下再按第二字段排序。我们创建一个`IntPair`类，其中包含两个整数字段，并实现相应的比较方法。接着，定义`...
word源码java-hadoop-test:hadoop、mapreduce的一些练习
06-05
word源码java hadoop-test hadoop、mapreduce的一些练习 包org.dan.service Hadoop ...包org.dan.mr.max_order_price MapReduce编写自定义的Partitioner和GroupingComparator实现高效求最大值 包org.dan.mr.smallfile M
二次排序案例（GroupingComparator）
weixin_43520450的博客
04-14 671
二次排序案例（GroupingComparator）一、原始版本：1.需求：2.输入数据：3.分析：4.代码实现：5.运行结果：二、程序优化：1.代码实现：2.运行结果： ------------------------------------------------------------- 一、原始版本： 1.需求： 求出每一个订单中最贵的商品 2.输入数据： 0000001 Pdt_01...
mapreduce系列（8）--自定义GroupingComparator
tianjun2012的专栏
03-20 2690
一、概述GroupingComparator是在reduce阶段分组来使用的，由于reduce阶段，如果key相同的一组，只取第一个key作为key，迭代所有的values。 如果reduce的key是自定义的bean，我们只需要bean里面的摸个属性相同就认为这样的key是相同的，这是我们就需要之定义GroupCoparator来“欺骗”reduce了。 我们需要理清楚的还有map阶段你的几个自定
GroupingComparator分组（辅助排序）的作用以及GroupingComparator分组案例实操
qq_43193797的博客
01-08 2240
问题分析： partioner是在MapTask阶段将数据写入环形缓冲区中进行的分区操作，其目的是为了划分出几个结果文件（ReduceTask，但是partioner必须小于ReduceTask个数），而是什么决定将一组数据发送给一次Reduce类中的reduce方法中呢？换句话说，Reduce类中的reduce方法中key一样，values有多个，是什么情况下的key是一样的，能不能自定义。其...
GroupingComparator分组
qdwd888的博客
05-05 131
结果截图 [](()GroupingComparator分组介绍 [](()概念 GroupingComparator分组用来辅助排序，对Reduce阶段的数据根据某一个或几个字段进行分组。 [](()分组排序步骤 （1）自定义类继承WritableComparator （2）重写compare()方法 @Override public int compare(WritableComparable a, WritableComparable b) { // 比较的业务逻辑 return result;.
Hadoop学习—— GroupingComparator分组
HadwinLing
11-22 229
GroupingComparator分组（辅助排序） 对Reduce阶段的数据根据某一个或几个字段进行分组。 分组排序步骤： （1）自定义类继承WritableComparator （2）重写compare()方法 @Override public int compare(WritableComparable a, WritableComparable b) { // 比较的业务逻辑 return result; } （3）创建一个构造将比较对象的类传给父类 rotected OrderGroup
MapReduce 之 Grouping Comparator 分析
李昊轩的博客
09-25 1735
MapReduce 通过 这个类来判断 key是否相同 (可以归为同一reduce的一次reduce运算) 这个类可以用来分担Reducer任务量, 比如: 排序 根据key排序——重写CompareTo() 将本质上不同的对象, 按照人类思考解决问题方便归为一类, 例如 订单bean 在reducer看来是不同的对象, 因为引用地址不同, 这时我们就要重写mapreduce的 Grouping...
Hadoop框架排序和分组的理解 GroupingComparator
hellojoy的博客
06-05 2217
MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般，将排序以及Map的输出传输到Reduce的过程称为混洗（shuffle)。每一个Map都包含一个环形的缓存，默认100M，Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时（阈值默认的大小是缓存的80%），一个后台线程负责将结果写到硬盘，这个过程称为“spill”。Spill过程中，Map仍可以向缓存写入结果...
Hadoop MR 之(三) Combiner类 / Partitioner 类 / GroupingComparator 类
Be yourself.
04-06 395
前言 在前一章中, 我们介绍了如何使用MR框架完成自己的业务逻辑. 并且,实现了排序功能. 本章, 我们继续讲解Hadoop MR的自定义处理细节. 本文相关代码, 可在我的Github项目 https://github.com/SeanYanxml/bigdata/ 目录下可以找到. PS: (如果觉得项目不错, 可以给我一个Star.) 基础知识 在讲解Hadoop MR的Combainor...
GroupingComparator分组排序
isea_you's blog
11-23 692
目录 分组排序步骤： 需求： 需求分析： 代码实现： 对Reduce阶段的数据根据某一个或几个字段进行分组。 分组排序步骤： （1）自定义类继承WritableComparator （2）重写compare()方法 @Override public int compare(WritableComparable a, WritableComparable b) {      ...
一个Hadoop工程关于温度的二次排序程序
最新发布
03-14
可以使用MapReduce框架实现二次排序，具体步骤如下： 1. 自定义一个WritableComparable类，用于存储温度和时间戳两个属性，并实现compareTo方法，以便进行二次排序。 2. 自定义一个Mapper类，将输入的数据按照温度和时间戳分别作为key和value输出。 3. 自定义一个Partitioner类，根据key的温度属性将数据分发到不同的Reducer中。 4. 自定义一个GroupingComparator类，用于将相同温度的数据分到同一个组中，以便进行二次排序。 5. 自定义一个Reducer类，将同一温度下的数据按照时间戳进行排序，并输出结果。 完整代码如下： public class Temperature implements WritableComparable<Temperature> { private double temp; private long timestamp; public Temperature() {} public Temperature(double temp, long timestamp) { this.temp = temp; this.timestamp = timestamp; } @Override public void write(DataOutput out) throws IOException { out.writeDouble(temp); out.writeLong(timestamp); } @Override public void readFields(DataInput in) throws IOException { temp = in.readDouble(); timestamp = in.readLong(); } @Override public int compareTo(Temperature o) { int cmp = Double.compare(temp, o.temp); if (cmp != 0) { return cmp; } return Long.compare(timestamp, o.timestamp); } public double getTemp() { return temp; } public long getTimestamp() { return timestamp; } } public class TemperatureMapper extends Mapper<LongWritable, Text, Temperature, NullWritable> { private Temperature temperature = new Temperature(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); double temp = Double.parseDouble(fields[0]); long timestamp = Long.parseLong(fields[1]); temperature = new Temperature(temp, timestamp); context.write(temperature, NullWritable.get()); } } public class TemperaturePartitioner extends Partitioner<Temperature, NullWritable> { @Override public int getPartition(Temperature key, NullWritable value, int numPartitions) { return (int) (key.getTemp() * 100) % numPartitions; } } public class TemperatureGroupingComparator extends WritableComparator { protected TemperatureGroupingComparator() { super(Temperature.class, true); } @Override public int compare(WritableComparable a, WritableComparable b) { Temperature t1 = (Temperature) a; Temperature t2 = (Temperature) b; return Double.compare(t1.getTemp(), t2.getTemp()); } } public class TemperatureReducer extends Reducer<Temperature, NullWritable, Text, NullWritable> { @Override protected void reduce(Temperature key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException { for (NullWritable value : values) { context.write(new Text(key.getTemp() + "," + key.getTimestamp()), NullWritable.get()); } } } 在Driver类中，需要设置自定义的WritableComparable类、Mapper类、Partitioner类、GroupingComparator类和Reducer类，并指定输入输出路径等参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值