mapreduce，自定义排序，分区，分组实现按照年份升序排序，温度降序排序

最新推荐文章于 2022-12-19 14:35:21 发布
最新推荐文章于 2022-12-19 14:35:21 发布
阅读量820 收藏
点赞数
分类专栏： 大数据

自定义类：

 

 

  1. package myhadoop;

  2.  

  3. import java.io.DataInput;

  4. import java.io.DataOutput;

  5. import java.io.IOException;

  6.  

  7. import org.apache.hadoop.io.WritableComparable;

  8.  

  9. public class KeyClass implements WritableComparable<KeyClass>{

  10.  

  11. private int year;

  12. private int hot;

  13.  
  14.  

  15. public int getYear() {

  16. return year;

  17. }

  18.  

  19. public void setYear(int year) {

  20. this.year = year;

  21. }

  22.  

  23. public int getHot() {

  24. return hot;

  25. }

  26.  

  27. public void setHot(int hot) {

  28. this.hot = hot;

  29. }

  30.  

  31. @Override

  32. public void readFields(DataInput in) throws IOException {

  33. this.year = in.readInt();

  34. this.hot = in.readInt();

  35. }

  36.  

  37. @Override

  38. public void write(DataOutput out) throws IOException {

  39. out.writeInt(year);

  40. out.writeInt(hot);

  41. }

  42.  

  43. @Override

  44. public int compareTo(KeyClass o) {

  45. int result = Integer.compare(this.year, o.getYear());

  46. if(result!=0){

  47. return result;

  48. }

  49. return Integer.compare(this.hot, o.hot);

  50. }

  51.  

  52. @Override

  53. public String toString() {

  54. return year+","+hot;

  55. }

  56.  

  57. @Override

  58. public int hashCode() {

  59. return Integer.valueOf(year+hot).hashCode();

  60. }

  61.  

  62. }

自定义排序：

 

 

  1. package myhadoop;

  2.  

  3. import org.apache.hadoop.io.WritableComparable;

  4. import org.apache.hadoop.io.WritableComparator;

  5.  

  6. public class KeySort extends WritableComparator {

  7.  

  8. public KeySort() {

  9. super(KeyClass.class,true);

  10. }

  11.  

  12. @Override

  13. public int compare(WritableComparable a, WritableComparable b) {

  14. KeyClass key1 = (KeyClass) a;

  15. KeyClass key2 = (KeyClass) b;

  16. int result = Integer.compare(key1.getYear(), key2.getYear());

  17. if(result!=0){

  18. return result;

  19. }

  20. return -Integer.compare(key1.getHot(), key2.getHot());

  21. }

  22.  

  23. }


自定义分区：

 

 

  1. package myhadoop;

  2.  

  3. import org.apache.hadoop.io.Text;

  4. import org.apache.hadoop.mapreduce.Partitioner;

  5.  

  6. public class KeyPart extends Partitioner<KeyClass, Text>{

  7.  

  8. @Override

  9. public int getPartition(KeyClass key, Text value, int num) {

  10. return (key.getYear()*127)%num;

  11. }

  12.  
  13.  

  14. }


自定义分组：

 

 

  1. package myhadoop;

  2.  

  3. import org.apache.hadoop.io.WritableComparable;

  4. import org.apache.hadoop.io.WritableComparator;

  5.  

  6. public class KeyGroup extends WritableComparator{

  7. public KeyGroup() {

  8. super(KeyClass.class,true);

  9. }

  10.  

  11. @Override

  12. public int compare(WritableComparable a, WritableComparable b) {

  13. KeyClass key1 = (KeyClass) a;

  14. KeyClass key2 = (KeyClass) b;

  15. return Integer.compare(key1.getYear(), key2.getYear());

  16. }

  17. }


mapreduce：

 

 

  1. package myhadoop;

  2.  

  3. import java.io.IOException;

  4. import java.text.SimpleDateFormat;

  5. import java.util.Calendar;

  6. import java.util.Date;

  7.  

  8. import org.apache.hadoop.conf.Configuration;

  9. import org.apache.hadoop.fs.Path;

  10. import org.apache.hadoop.io.LongWritable;

  11. import org.apache.hadoop.io.Text;

  12. import org.apache.hadoop.mapreduce.Job;

  13. import org.apache.hadoop.mapreduce.Mapper;

  14. import org.apache.hadoop.mapreduce.Reducer;

  15. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

  16. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

  17.  
  18.  

  19. public class KeyMapReduce {

  20. private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

  21. static class KeyMapper extends Mapper<LongWritable, Text, KeyClass, Text>{

  22.  

  23. @Override

  24. protected void map(LongWritable key, Text value, Context context)

  25. throws IOException, InterruptedException {

  26. String line = value.toString();

  27. String[] lines = line.split("@");

  28. if(lines.length==2){

  29. try {

  30. Date date = sdf.parse(lines[0]);

  31. Calendar calendar = Calendar.getInstance();

  32. calendar.setTime(date);

  33. int year = calendar.get(Calendar.YEAR);

  34. String hot = lines[1].substring(0, 2);

  35. KeyClass keyClass = new KeyClass();

  36. keyClass.setYear(year);

  37. keyClass.setHot(Integer.parseInt(hot));

  38. context.write(keyClass, value);

  39. } catch (Exception e) {

  40. // TODO Auto-generated catch block

  41. e.printStackTrace();

  42. }

  43. }

  44. }

  45.  
  46.  

  47. }

  48.  

  49. static class KeyReduce extends Reducer<KeyClass, Text, KeyClass, Text>{

  50.  

  51. @Override

  52. protected void reduce(KeyClass key, Iterable<Text> value, Context context)

  53. throws IOException, InterruptedException {

  54. for(Text text:value){

  55. context.write(key, text);

  56.  

  57. }

  58. }

  59.  

  60. }

  61.  

  62. public static void main(String[] args) throws Exception {

  63. Configuration configuration = new Configuration();

  64. Job job = Job.getInstance();

  65. job.setJobName("yearAndHot");

  66. job.setJarByClass(KeyMapReduce.class);

  67. job.setMapperClass(KeyMapper.class);

  68. job.setReducerClass(KeyReduce.class);

  69.  

  70. job.setSortComparatorClass(KeySort.class);

  71. job.setPartitionerClass(KeyPart.class);

  72. job.setGroupingComparatorClass(KeyGroup.class);

  73. job.setNumReduceTasks(3);

  74.  

  75. job.setOutputKeyClass(KeyClass.class);

  76. job.setOutputValueClass(Text.class);

  77. FileInputFormat.addInputPath(job, new Path("/test/data.txt"));

  78. FileOutputFormat.setOutputPath(job, new Path("/test/output"));

  79.  

  80. System.exit(job.waitForCompletion(true)==true?0:1);

  81. }

  82. }

 

数据：

 

 

  1. 2010-11-02 12:12:12@45℃

  2. 2010-11-03 11:11:11@40℃

  3. 2010-11-04 10:10:10@38℃

  4. 2011-11-02 12:12:12@45℃

  5. 2011-11-03 11:11:11@56℃

  6. 2011-11-04 10:10:10@34℃

  7. 2012-11-02 12:12:12@54℃

  8. 2012-11-03 11:11:11@56℃

  9. 2012-11-04 10:10:10@33℃

  10. 2012-11-05 10:00:12@23℃

 

输出：

 

 

  1. [hadoop@master hadoop]$ hadoop fs -ls /test/output

  2. Found 4 items

  3. -rw-r--r-- 1 hadoop supergroup 0 2017-06-27 15:53 /test/output/_SUCCESS

  4. -rw-r--r-- 1 hadoop supergroup 105 2017-06-27 15:52 /test/output/part-r-00000

  5. -rw-r--r-- 1 hadoop supergroup 105 2017-06-27 15:52 /test/output/part-r-00001

  6. -rw-r--r-- 1 hadoop supergroup 140 2017-06-27 15:52 /test/output/part-r-00002

  7. [hadoop@master hadoop]$ hadoop fs -cat /test/output/part-r-00000

  8. 2010,45 2010-11-02 12:12:12@45℃

  9. 2010,40 2010-11-03 11:11:11@40℃

  10. 2010,38 2010-11-04 10:10:10@38℃

  11. [hadoop@master hadoop]$ hadoop fs -cat /test/output/part-r-00001

  12. 2011,56 2011-11-03 11:11:11@56℃

  13. 2011,45 2011-11-02 12:12:12@45℃

  14. 2011,34 2011-11-04 10:10:10@34℃

  15. ^[[A[hadoop@master hadoop]$ hadoop fs -cat /test/output/part-r-00002

  16. 2012,56 2012-11-03 11:11:11@56℃

  17. 2012,54 2012-11-02 12:12:12@54℃

  18. 2012,33 2012-11-04 10:10:10@33℃

  19. 2012,23 2012-11-05 10:00:12@23℃

首席撩妹指导官
关注
专栏目录
mapreduce wc单词计数 自定义分区 自定义排序实现
09-07
在这个特定的案例中，我们不仅实现了基本的WordCount功能，还扩展了MapReduce的能力，通过自定义分区和自定义排序来优化数据处理流程。 首先，基础的`WordCount`实现，通常包含以下四个步骤： 1. **Map阶段**：...
MapReduce基础编程之按日期统计及按日期排序
邵奈一的博客
05-17 1920
大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。 1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员… 2、这几年，我整理了很多IT技术相关的教程给大家，爱生活、爱分享。 3、如果您觉得文章有用，请收藏，转发，评论，并关注我，谢谢！ 博客导航跳转（请收藏）：邵奈一的技术博客导航 | 公众号 | 微信 | CSDN | 掘金 | 51CTO | 简书 | 微博 | 教程目录0x00 教程内容0x01 项目准备1. 新建Maven项目2. 需求.
MapReduce自定义排序、自定义分组、自定义分区
qq_33605632的博客
04-20 849
MapReduce自定义排序、自定义分组、自定义类自定义类自定义分区、分组数据 此博客主要是对学习过的只是自己进行归纳总结，便于日后复习，如果有错误的地方，欢迎指正。 需求： 学生成绩信息，里面包含的字段有：班级、学号、姓名、语文成绩、数学成绩、英语成绩 示例： 班级 学号 姓名 语文 数学 英语 1307 7026 邝卓男 95 88 98 中间以制表符分隔 问题1：求每个学...
Hadoop mapreduce中自定义排序及自定义分组
Chester_24的博客
10-09 977
一、map自定义排序 哪个字段需要排序，将其设为map输出的key，利用map的排序完成。 如果字段为基本类型且正序排序，则直接设为key，利用map默认排序即可。 如果字段为对象或需要倒序排序，则需利用对象类实现comparable（WritableComparable）接口，重写接口的comparable方法。 二、map自定义分组 需新建分组类，继承WritableComparator类...
MapReduce的自定义排序、分区和分组
axs441702的博客
05-17 536
自定义排序（WritableComparable） 当写mr程序来处理文本时，经常会将处理后的信息封装到我们自定义的bean中，并将bean作为map输出的key来传输 而mr程序会在处理数据的过程中（传输到reduce之前）对数据排序（如：map端生成的文件中的内容分区且区内有序）。 操作： 自定义bean来封装处理后的信息，可以自定义排序规则用bean中的某几个属性来作为排序...
Hadoop中MapReduce的自定义分区、排序、分组
恩特尔派
07-24 660
分区： 在MR的job中，默认使用的分区类为：HashPartitioner.class 其源代码为： public class HashPartitioner<K, V> extends Partitioner<K, V> { public HashPartitioner() { } public int getPartition(K key, ...
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
05-29
在MapReduce编程模型中，开发者通常需要处理一系列关键任务，包括数据序列化、排序、分区、分组以及计算TopN值。以下将详细介绍这些概念及其在Hadoop环境中的实现。 一、自定义序列化 在MapReduce中，数据通常以...
MapReduce2中自定义排序分组
08-12
本文将详细探讨在 MapReduce2 中如何实现自定义排序和分组，以满足特定的数据处理需求。 首先，了解 MapReduce 的工作流程是必要的。Map 阶段将输入数据分割成多个块，并在各个节点上并行处理。Reduce 阶段则负责...
使用Java MapReduce实现数据全局排序【100012685】
06-12
本次实验，在 Hadoop 平台上，使用 MapReduce 实现了数据的全局排序。将详细阐述了实现所需环境及过程。用阿里云服务器安装， OS: Ubuntu20.04 LTS . Hadoop 支持用三种模式启动：单机模式、伪分布式模式、分布式...
数据排序MapReduce实例
最新发布
08-25
数据排序MapReduce实例 对输入文件中每行进行排序，输入文件中的每行内容为一个数字，即一个数据。
整理一下Mapreduce的排序方法
StephenYou的自习室
08-23 4716
MR之排序概念排序分类部分排序全排序辅助排序二次排序自定义排序自定义排序案例需求分析数据准备思路分析代码编写FlowBean自定义序列化类 概念 排序是MapReduce框架中最重要的操作之一。MapTask和ReduceTask均会对数据（按照key）进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。默认排序是按照字典顺序排序，且实现该排序的方法是...
mapreduce学习笔记四：排序
weixin_30896763的博客
11-19 174
1.Map端： （1）每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性控制），会在本地文件系统中创...
Mapreduce的排序
L13763338360的博客
08-16 4603
1. Mapreduce排序 排序是MapReduce的灵魂，MapReduce在Map和Reduce的两个阶段当中，都在反复地执行排序。 1.1 全局排序 排序分为全局排序、部分排序、二次排序、辅助排序。全局排序，就是在一个MapReduce程序产生的输出文件中，所有的结果都是按照某个策略进行排序的，例如降序还是升序。MapReduce只能保证一个分区内的数据是key有序的，一个分区对应一个reduce，因此只有一个reduce就保证了数据全局有序，但是这样又不能用到Hadoop集群的优势。 1.
MapReduce 排序
m0_72168501的博客
12-19 385
MapReduce 排序
MapReduce实战小案例（自定义排序、二次排序、分组、分区）
fengxiandada的博客
06-26 7037
MapReduce实战小案例
「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等
知之可否
03-14 3818
转自  http://www.ptbird.cn/mapreduce-tempreture.html 一、需求说明 1、数据文件说明 hdfs中有一些存储温度的数据文件，以文本形式存储，示例如下： 日期和时间中间是空格，为整体，表示检测站点监测的时间，后面是检测的温度，中间通过制表符 \t 相隔。 2、需求 计算在1949-1955年中,
Hadoop实战——MapReduce对英文单词文本进行统计和排序（超详细教学，算法分析）
热门推荐
小袁同学的博客
11-10 1万+
用IDEA编写MapReduce程序，生成Jar包，启动Hadoop，执行Jar包程序，在HDFS文件系统中查看单词统计和排序结果
Mapreduce实例（三）：排序
Bee_Darker的博客
06-01 2719
任务目标 1.准确理解Mapreduce排序的实验原理 2.熟练掌握Mapreduce排序的程序代码编写 3.培养编写MapReduce排序代码解决问题的能力
MapReduce基本用法示例-自定义序列化、排序、分区、分组和topN
本文介绍了MapReduce的基本用法示例，主要包括自定义序列化、排序、分区、分组和topN。在使用这些功能之前，需要确保hadoop环境正常运行。 首先，在介绍具体用法之前，作者先介绍了项目的pom.xml文件和测试数据说明...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值