import java.io.*;
import org.apache.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
public class MaxTemperature{
public static void main(String[]args) throws IOException{
// args=new String[2];
// args[0]="/home/yukjin/Downsload/1901";
// args[1]="output";
if(args.length!=2){
System.err.println("Usage:MaxTemperature <input path> <output path");
System.exit(-1);
}
JobConf conf=new JobConf(MaxTemperature.class);//JobConf指定作业执行规范,可以使用它控制整个作业的运行
conf.setJobName("Max temperature");
FileInputFormat.addInputPath(conf,new Path(args[0]));//指定文件输入路径,路径既可以是单个文件也可以是某个目录,也可多次调用实现多路径输入
FileOutputFormat.setOutputPath(conf,n
气象数据集例子Java程序代码
最新推荐文章于 2024-08-08 22:16:05 发布
这篇博客介绍了一个使用Java编程处理气象数据集的例子,通过Mapper接口进行数据转换,Mapper的输入键为LongWritable,输入值为Text,输出键为Text(年份),输出值为IntWritable(气温)。Hadoop提供了优化的网络序列化基本类型,位于org.apache.hadoop.io包中。Reducer接口的输入键值与Mapper的输出键值匹配,确保数据处理的连续性。
摘要由CSDN通过智能技术生成