Mapreducer天气排序，分区，分组，排序_mapreduce开发之天气排序-CSDN博客

本文链接：https://blog.csdn.net/asdfzjs/article/details/47808389

这段代码演示了如何利用MapReduce处理天气数据，通过Mymapper进行数据解析，Myreducer进行数据聚合，MyParttioner进行分区，MyGroup和Mysort实现自定义分组和排序。作业配置包括设置输入输出路径、Mapper和Reducer类，以及自定义比较器和分区器，旨在按年月降序排列最高温度。

摘要由CSDN通过智能技术生成

<pre name="code" class="html"><pre name="code" class="html">package com.zjs.mr2;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;




public class JobRun {
public static void main(String[] args) {
		JobRun jr =new JobRun();
		try {
			System.out.println(jr.run() ?"执行成功":"执行失败");
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
	public boolean run() throws Exception{
		Configuration config = new Configuration();
		config.set("fs.defaultFS", "hdfs://node6:8020");
		config.set("yarn.resourcemanager.hostname", "node7");
		
		//取得文件系统
		FileSystem fs = FileSystem.get(config);
		Job job = Job