hadoop学习笔记(七)——hadoop权威指南中天气数据运行

最新推荐文章于 2018-07-14 16:13:22 发布

VIP文章 thinkpadshi

最新推荐文章于 2018-07-14 16:13:22 发布

阅读量5.5k

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/thinkpadshi/article/details/47177119

版权

1) hdfs文件系统准备工作
a) # hadoop fs –ls /user/root #查看hdfs文件系统
b) # hadoop fs -rm /user/root/output02/part-r-00000
c) 删除文档，删除文件夹
d) # hadoop fs -rm –r /user/root/output02
e) # hadoop fs –mkdir –p input/ncdc
f) 解压缩输入文件，hadoop无法识别.zip或者.rar
g) # hadoop fs -put ../input_tmp/* input/ncdc
h) 同一个任务对应的input文件内容格式必须一致。
2) 编写程序
a) MaxTemperature.java

// cc MaxTemperature Application to find the maximum temperature in the weather dataset
// vv MaxTemperature
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MaxTemperature {

  public static void main(String[] args) throws Exception {
    if (args.length != 2