本例子是从气象站中保存的历史气象信息里面提取出每年的最高气温来,其大致过程如下:
准备天气数据(详情请看hadoop权威指南附录气象数据)
在 http://www.hadoopbook.com/ 下载天气数据文件 1901.gz 1902.gz
上传数据到服务器
创建hadoop添加数据文件夹 hadoop dfs –mkdir /ncdc
将天气数据添加到hadoop节点
hadoop dfs –put /usr/local/1901 1902 /ncdc
查看是否已经上传
hadoop dfs –ls /ncdc
eclipse配置hadoop环境(可以搜索相关文章)
新建mapreduce项目
编码