MapReduce做key降序排序

最新推荐文章于 2022-01-06 19:09:18 发布
VIP文章 最新推荐文章于 2022-01-06 19:09:18 发布
阅读量914 收藏 1
点赞数
分类专栏： mapreduce java学习 文章标签： Mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jws123123123/article/details/102905292
版权

由于mapreduce能对key进行排序，所以我们想要的数据可以利用这一点进行排序。
完整代码

package com.招聘;

import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;

import java.util.regex
最低0.47元/天 解锁文章
一个喜欢写 代码的小龙龙
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop实训求最高温度和最低温度的数据集
05-04
(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。
五、MapReduce练习----学生成绩按照总成绩降序排列，总成绩相同依次按照语文成绩、数学成绩
多领域记录
12-21 3459
学生成绩参考：https://pan.baidu.com/s/1h8IhPwLaAv39N7yOH-Gv8g 二次排序： 依次按照多个条件进行排序 MapReduce 的所有排序都是针对 key 进行的，通常 key 只包含一列数据， 如果想让 key 包含多列数据，通常会自定义 key 实现 学生信息按照语文成绩降序排列，如果语文成绩相同，按照数学成绩降序排列 自定义 key 类型包含语...
hadoop wordcount 分步按照value降序排序
qq_44705678的博客
07-13 1666
面向有wordcount输出结果的，经过默认排序的 由于wordcount自带的是按照字母表顺序排序的，所以我们第一步就是要把自带排序给替换成按照value降序排序的 @DecreasingComparator.java public class DecreasingComparator extends Text.Comparator { @SuppressWarnings("rawtyp...
MapReduce实现倒序排序的两种方法
星辰大数据的博客
10-11 2438
目录 一、外部比较器实现 二、自定义序列化比较器实现 一、外部比较器实现 需要注意，这里的比较是对MapReduce中key类型的比较，并且key的类型为InWritable类型。 1、自定义比较器继承WritableComparator类 package com.gxwz.utils; import org.apache.hadoop.io.IntWritable...
MapReduce读取文本，实现降序排序
星辰大数据的博客
09-27 2104
目录 1、Maven导入hadoop-client包 2、core-site.xml文件配置 3、log4j.properties 文件配置 4、Top5.java（主要代码） 5、测试数据 6、运行结果 1、Maven导入hadoop-client包 <dependency> <groupId>org.apache.hadoop</gro...
mapreduce value 排序_MapReduce知识点一
weixin_36013428的博客
12-22 242
MapReduce 优缺点MapReduce 分布式运算程序的编程框架优点：使分布式编程变得简单，高容错性，适合PB级以上的数据处理缺点： 不适合实时计算MapReduce流程客户端submit前，获取待处理的信息，根据配置生成任务规划，比如有多少个maptask等。客户端提交信息到yarn，提交的信息包括job的配置，jar包等。各个节点上启动maptask，调用InputFormat中的Rec...
MapReduce如何只输出10个value
a18307096730的博客
01-06 1015
protected void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException { //因为在map到reduce之间它会将key（评论时间）升序排列,我们使用使Sort阶段的Key降序排列的比较器后， // 在reduce得到的key就...
MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
热门推荐
阿尔卑斯LOVE
05-24 1万+
MapReduce-WordCount实现 输入文件的按照空格、逗号、点号、双引号等分词 输入文件的大写字母全部换成小写 文件输出要求按照value值降序排序 MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
大数据全知识点讲解之Mapreduce
Helltaker的博客
09-15 550
大数据全知识点讲解之MapreduceMapreduce介绍Mapreduce设计思想Mapreduce特点实现WordCountMapreduce执行过程Hadoop V1 MR引擎Hadoop V2 YARN Mapreduce介绍 MapReduce是一个分布式计算框架 它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。 起源于Google 适用于大规模数据处理场景 每个节点处理存储在该节点的数据 每个job包含Map和Reduce两部分 Mapreduce设计思想 分而治之 简化并行计
Hadoop MapReduce工作流程图示与详解
欢迎欢迎，热烈欢迎
10-14 1013
1）Map阶段图示： 2）Reduce阶段图示： 3）Shuffle过程： Shuffle过程只是从map第7步开始到reduce第16步结束，具体Shuffle过程详解，如下： （1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的溢出文件 （4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序 （5）ReduceTask根据自..
数据排序MapReduce实例
08-25
数据排序MapReduce实例 对输入文件中每行进行排序，输入文件中的每行内容为一个数字，即一个数据。
使用Java MapReduce实现数据全局排序【100012685】
06-12
本次实验，在 Hadoop 平台上，使用 MapReduce 实现了数据的全局排序。将详细阐述了实现所需环境及过程。用阿里云服务器安装， OS: Ubuntu20.04 LTS . Hadoop 支持用三种模式启动：单机模式、伪分布式模式、分布式...
MapReduce自定义Key实现获取学生最高成绩 课程设计
最新发布
01-06
这段Java代码是一个Hadoop MapReduce程序，用于处理输入数据并计算每个不同词汇的最高分数。它包含了配置和运行MapReduce作业的逻辑，以及Mapper和Reducer类的定义。主要功能是读取输入数据，将数据拆分成词汇和相关...
利用采样器实现mapreduce任务输出全排序
12-02
利用采样器实现mapreduce任务输出全排序大数据-MapReduce
mapreduce二次排序
01-09
mapreduce二次排序，年份升序，按照年份聚合，气温降序
java输出100以内素数
jws123123123的博客
06-17 3462
public class FOR { public static void main(String[] args) { int i=2; int j; int t=1; for(i=2;i<=100;i++) { for(j=2;j<i;j++) { if(i%j==0) { t=0; break; } } if(j ==i) { ...
Mapreduce 统计各科成绩最高分
jws123123123的博客
10-10 2390
我的真正意义上 第一个 Mapreduce程序 首先，自己接触mapreduce的时间也不长。是 个真正意义上 的小白。今天通过自己钻研。终于写出了自己的第一个mapreduce程序。心里还是有点小激动的，话不多说，附上源代码 package com.sxzy; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.Ma...
mapreduce实现访问日期统计访问次数
jws123123123的博客
10-10 2075
话不多说下面先附上开始的pom.xml文件： org.apache.hadoop hadoop-client 2.7.4 <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core --> <dependency> <groupId>...
Mapreduce统计月份天气气温
jws123123123的博客
10-11 927
话不多说 先附上 源代码： import java.io.File; import java.io.IOException; import org.apache.commons.io.FileUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache....
使用MapReduce和Hadoop的销售数据排序系统的代码，按月份升序和销售量降序排序
06-08
以下是使用MapReduce和Hadoop的销售数据排序系统的代码，按月份升序和销售量降序排序： Mapper类：SalesMapper.java ```java import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class SalesMapper extends Mapper<LongWritable, Text, Text, Text> { private Text outputKey = new Text(); private Text outputValue = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] record = value.toString().split(","); String month = record[0]; String sales = record[1]; outputKey.set(month); outputValue.set(sales); context.write(outputKey, outputValue); } } ``` Reducer类：SalesReducer.java ```java import java.io.IOException; import java.util.ArrayList; import java.util.Collections; import java.util.List; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class SalesReducer extends Reducer<Text, Text, Text, Text> { private Text outputValue = new Text(); public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { List<Integer> salesList = new ArrayList<Integer>(); for (Text value : values) { salesList.add(Integer.parseInt(value.toString())); } // 对销售量进行降序排序 Collections.sort(salesList, Collections.reverseOrder()); StringBuilder sb = new StringBuilder(); for (int sales : salesList) { sb.append(sales).append(","); } // 去掉最后一个逗号 sb.setLength(sb.length() - 1); outputValue.set(sb.toString()); context.write(key, outputValue); } } ``` Driver类：SalesSortDriver.java ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; public class SalesSortDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Sales Sort"); job.setJarByClass(SalesSortDriver.class); job.setMapperClass(SalesMapper.class); job.setReducerClass(SalesReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); TextInputFormat.setInputPaths(job, new Path(args[0])); TextOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true); } } ``` 在运行Hadoop作业时，您需要将输入数据以逗号分隔的格式存储在文本文件中，并将其传递给作业的第一个参数。作业的第二个参数将是输出目录。您可以在输出目录中找到按月份升序和销售量降序排序的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值