使用 IntelliJ IDEA写出你的第一个mapruduce应用

    文章基于widows环境下的idea,hadoop版本2.7.2，案例来源于《Hadoop:The Definitive Guide》第二章，需要统计美国自1901年以来每一年的最高气温，数据文件见百度盘 https://pan.baidu.com/s/1gfoZkUf

1、配置maven

略

2、解读（简版，详见book)

a.数据解读

    从数据格式中可以看到每一行(15,19)是年份信息，而(87,92)储存的是温度，(92,93)储存的是天气的质量信息，我们需要提取出年份和温度信息。

b.map阶段

    在map阶段只是一个准备数据的过程，提取年份和温度形成键值对输出给reduce阶段；并且在这个过程中筛掉缺失和错误的数据。

    map结果提取出每一行对应的年份和温度信息。

c.reduce阶段

    map函数的输出经过MapReduce框架处理后，最后发送到reduce函数，这个过程基于键来对键值对进行进行排序和分组，因此，reduce函数看到的是如下输入：

每一年紧接着一系列气温数据，reduce要做的工作就是遍历整个列表并找出最大的数值。

3、code

a.map阶段—获取每一年的温度，以（key,value)键值对存储

package mkd.hadoop.mr;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

/**
 * Created by MKD on 2017/7/12.
 * map阶段
 */
public class MyMaxTempMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
    private static final int MISSING = 9999;
    @Override
    public void map(LongWritable key,Text value,Context context)
        throws IOException,InterruptedException{
        String line = value.toString();//将每一行数据转化成String
        String year = line.substring(15,19);//获取年份数据
        int airTemperature;
        //提取气温 + / -
        if(line.charAt(87) == '+'){
            airTemperature = Integer.parseInt(line.substring(88,92));//将string转化成int
        }else{
            airTemperature = Integer.parseInt(line.substring(87,92));
        }
        //质量
        String quality = line.substring(92,93);
        //判断气温有效性
        if(airTemperature != MISSING && quality.matches("[01459]")){
            context.write(new Text(year),new IntWritable(airTemperature));
        }
    }
}

b.reduce阶段—找出每一年最大温度

package mkd.hadoop.mr;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * Created by MKD on 2017/7/12.
 * reduce阶段
 */
public class MyMaxTemperReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
    @Override
    public void reduce(Text key,Iterable<IntWritable> values,Context context)
        throws IOException,InterruptedException{
        int maxValue = Integer.MIN_VALUE;
        for(IntWritable value:values){//获取最大温度
            maxValue = Math.max(maxValue,value.get());
        }
        context.write(key,new IntWritable(maxValue));
    }
}

c.MapReduceJob

package mkd.hadoop.mr;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * Created by MKD on 2017/7/12.
 * mapreduce APP
 */
public class MyMaxTemputer {
    public static void main(String[] args) throws Exception{
        if(args.length != 2){
            System.err.println("Usage:MaxTemperture <input path> <output path>");
            System.exit(-1);
        }
        Job job = Job.getInstance();
        job.setJarByClass(MyMaxTemputer.class);
        job.setJobName("MyMaxTemputer");//设置作业名称

        FileInputFormat.addInputPath(job,new Path(args[0]));//输入路径
        FileOutputFormat.setOutputPath(job,new Path(args[1]));//输出路径

        job.setMapperClass(MyMaxTempMapper.class);//设置mapper类型
        job.setReducerClass(MyMaxTemperReducer.class);//设置reduce类型

        job.setOutputKeyClass(Text.class);//设置输出key类型
        job.setOutputValueClass(IntWritable.class);//设置输出value类型

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

4、设置输入输出

    上面是输入路径，下面是输出路径（输出目录一定要不存在！！！！，否则报错）

5、运行APP

    然后在输出路径下可以看到如下文件，_SUCCESS表示运行成功，我们打开part-r-0000文件可以查看结果