hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署

看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引，

殊不知，Tom White大牛虽然在书中写了程序和讲解了原理，但是他以为你们都会部署了，这里轻描淡写给

带过了，这样就给菜鸟们留了课题，其实在跑书中的程序的时候，如果没经验，还是会踩坑的。

这里笔者就把踩过的坑说一下，以防后来人浪费时间了。

1. 首先，你得下载书中的ncdc气象原始数据，这个可以从书中的官网下载。

作者只给了2年的历史数据，无妨，2年也可以运行。

下载下来你会看到1901.gz，1902.gz

 

2. 然后我们可以开始我们的编码之旅了

新建一个maven项目，然后按照书中的例子，编写如下3个类(这里Mapper, Reducer, Job的原理我就不多解释了，自己去看大牛的书去)

MaxTemperatureMapper.java

package org.genesis.hadoop.temperature;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MaxTemperatureMapper
  extends Mapper<LongWritable, Text, Text, IntWritable> {

  private static final int MISSING = 9999;
  
  @Override
  public void map(LongWritable key, Text value, Context context)
      throws IOException, InterruptedException {
    
    String line = value.toString();
    String year = line.substring(15, 19);
    int airTemperature;
    if (line.charAt(87) == '+') { // parseInt doesn't like leading plus signs
      airTemperature = Integer.parseInt(line.substring(88, 92));
    } else {
      airTemperature