MapReduce实例----统计平均成绩

1.源数据:

张三 90
李四 100
张三 60
李四 80
王五 88
李四 100

2.代码如下:

package com.average;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class Average {
	public static class Map extends Mapper<Object, Text, Text, IntWritable>{
		
		public void map(Object key,Text value,Context context) throws IOException, InterruptedException{
			String line=value.toString();
			String[] line1=line.split(" ");
			String person=line1[0].toString();
			IntWritable i=new IntWritable(Integer.parseInt(line1[1]));
			//System.out.print(person+" "+i);
			context.write(new Text(person), i);
		}
	}
	
	public static  class Redudce extends Reducer<Text, IntWritable, Text, IntWritable>{
		private static IntWritable i=new IntWritable(1);
		public  void reduce(Text key,Iterable<IntWritable> value,Context context) throws IOException, InterruptedException{
			
			int sum=0; //总分
			int ave=0;
			int count=0; //个数
			for(IntWritable v:value){
				sum+=v.get();
				count++;
				//System.out.println(v);
			}
			ave=sum/count;
			IntWritable ave1=new IntWritable(ave);
		
			context.write(key, ave1);
			System.out.println(key+"  "+ave1);
		}
	}
	public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException{
		Configuration conf=new Configuration();
		String otherargs[]=new GenericOptionsParser(conf, args).getRemainingArgs();
		if(otherargs.length!=2){
			System.exit(2);
		}
		Job job=new Job(conf,"average");
		job.setJarByClass(Average.class);
		job.setMapperClass(Map.class);
		job.setCombinerClass(Redudce.class);
		job.setReducerClass(Redudce.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		 FileInputFormat.addInputPath(job, new Path(otherargs[0]));

	     FileOutputFormat.setOutputPath(job, new Path(otherargs[1]));

	     System.exit(job.waitForCompletion(true) ? 0 : 1);

	     }



}

程序运行后输出文件夹里面是空的,也是很苦恼。。。。。。

假设我们有一个天气数据集,每个记录包含日期、城市、最高温度和最低温度。我们想要统计每个城市在每个月的平均最高温度和平均最低温度,我们可以使用MapReduce进行分组统计。 首先,我们需要定义Mapper函数的输入和输出。Mapper函数的输入应该是文本行,每行表示一个天气记录,包含日期、城市、最高温度和最低温度,以逗号分隔。Mapper函数的输出应该是键值对,其中键是由城市和月份组成的复合键,值是一个包含最高温度和最低温度的可序列化对象。 伪代码如下: ```python Mapper(输入: key, value): 解析输入行,获取城市、日期、最高温度和最低温度 从日期中提取出月份 构造复合键,由城市和月份组成 构造值对象,包含最高温度和最低温度 发射键值对,以复合键为键,值对象为值 ``` 接下来,我们需要定义Reducer函数的输入和输出。Reducer函数的输入应该是键值对,其中键是由城市和月份组成的复合键,值是一个包含最高温度和最低温度的可序列化对象的迭代器。Reducer函数的输出应该是键值对,其中键是由城市和月份组成的复合键,值是一个包含平均最高温度和平均最低温度的可序列化对象。 伪代码如下: ```python Reducer(输入: key, values): 计算所有值的平均最高温度和平均最低温度 构造值对象,包含平均最高温度和平均最低温度 发射键值对,以复合键为键,值对象为值 ``` 最后,我们需要运行MapReduce作业。我们可以使用Hadoop Streaming工具,通过标准输入和输出来传递数据。假设我们的Mapper函数定义在mapper.py文件中,Reducer函数定义在reducer.py文件中,我们可以使用以下命令来运行作业: ```bash hadoop jar hadoop-streaming.jar \ -mapper mapper.py \ -reducer reducer.py \ -input input_file \ -output output_dir ``` 其中,hadoop-streaming.jar是Hadoop Streaming工具的JAR文件;mapper.py和reducer.py是我们定义的Mapper和Reducer函数;input_file是输入文件的路径;output_dir是输出目录的路径。 通过这种方式,我们可以使用MapReduce分组统计天气信息,并且可以方便地扩展到更大的数据集和更复杂的统计任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

w_t_y_y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值