hadoop2.x入门：编写mapreduce对气象数据集求每日最高气温和最低气温_wget -d --accept-regex=regex -p data -r -c-CSDN博客

本文链接：https://blog.csdn.net/erygreat/article/details/75947569

本文介绍了如何使用Hadoop2.x编写MapReduce程序处理气象数据集，通过Java实现，计算每日最高和最低气温。首先从ftp.ncdc.noaa.gov下载气象数据，解压并存入文本文件。接着编写Mapper和Reducer，编译成jar包，将数据上传到HDFS，最后运行程序并验证结果。示例中分析了黑龙江漠河等气象站的数据。

摘要由CSDN通过智能技术生成

1.下载气象数据集

气象数据集下载地址为：
- ftp://ftp.ncdc.noaa.gov/pub/data/noaa

我们下载国内的气象数据，使用下面命令进行下载

wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*

国内气象站ID区间为50001-59998详细的可以在《1951—2007年中国地面气候资料日值数据集台站信息》中查看，不过应该不全。另外《StationIDs_Global_1509》中提供了世界各国气象站编号范围。

2.解压数据集，并保存在文本文件中

7月23号下载的，数据量为79w行,大小为182MB。所以即使年底也不过200w行。

[grid@tiny01 ~]$ zcat data/ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*.gz > data.txt

在这里>表示输出重定向符

我们查看气象数据集：

0169501360999992017010100004+52130+122520FM-12+043399999V0202201N0010102600199003700199-03271-03631102641ADDAA124160092AJ199999999999999GA1081+026001101GA2999+999999101GA3999+999999101GE19MSL   +99999+99999GF108991081999026001999999MA1999999096571MD1210041+0301REMSYN004BUFR

对数据格式进行解释

1-4     0169    
5-10    501360      # USAF weather station identifier 
11-15   99999       # WBAN weather station identifier
16-23   20170101    # 记录日期
24-27   0000        # 记录时间
28      4
29-34   +52130      # 纬度（1000倍）
35-41   +122520     # 经度（1000倍）
42-46   FM-12
47-51   +0433      # 海拔（米）
52-56   99999
57-60   V020
61-63   220         # 风向
64      1           # 质量代码
65      N
66-69   0010
70      1
71-75   02600       # 云高（米）
76      1
77      9
78      9
79-84   003700      # 能见距离（米）
85      1
86      9
87      9
88-92   -0327       # 空气温度(摄氏度*10)
93      1
94-98   -0363       # 露点温度(摄氏度*10)
99      1
100-104 10264       # 大气压力
105     1

其中第5-10位表示气象站编号：501360（取前五位），查表可得对应的是黑龙江漠河。我们主要分析的是月份:16-21位和空气温度:88-92位的极值关系。

3. 编写MapReduce程序

Mapper程序

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxTemperatureMapper extends
                Mapper<LongWritable, Text,