【Hadoop学习项目】4. 求最大最小值

0. 项目结构

在这里插入图片描述

1. MaxDriver

package hadoop_test.min_max_demo_04;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



public class MaxDriver {
/* 数据内容
假设我们需要处理一批有关天气的数据,其格式如下:
按照ASCII码存储,每行一条记录。每行共24个字符(包含符号在内)
第9、10、11、12字符为年份,第19、20、21、22字符代表温度,求每年的最高和最低温度

2329999919500515070000
9909999919500515120022
9909999919500515180011
9509999919490324120111
6509999919490324180078
9909999919370515070001
9909999919370515120002
9909999919450515180001
6509999919450324120002
8509999919450324180078
 */
	public static void main(String[] args) throws Exception {

		System.setProperty("HADOOP_USER_NAME", "root");

		Configuration conf=new Configuration();
		Job job=Job.getInstance(conf);

		job.setJarByClass(MaxDriver.class);

		job.setMapperClass(MaxMapper.class);
		job.setReducerClass(MaxReducer.class);

		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.setInputPaths(job,new Path("/hadoop_test/min_max/min_max.data"));
		FileOutputFormat.setOutputPath(job,new Path("/hadoop_test/min_max/result"));
		
		job.waitForCompletion(true);

	}

}

2. MaxMapper

package hadoop_test.min_max_demo_04;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	@Override
	protected void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
		String line=value.toString();
//		拿出年份
		String year=line.substring(8,12);
//      拿出温度
		int temp=Integer.parseInt(line.substring(18));
		context.write(new Text(year), new IntWritable(temp));
	}

}

3. MaxReducer

package hadoop_test.min_max_demo_04;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MaxReducer extends Reducer<Text, IntWritable, Text, Text> {
	
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {

		int max=0;						// 找最大的所以从0开始
		int min=Integer.MAX_VALUE;		// 找最小的所以从最大整数开始
		for(IntWritable value:values){
			if(max<value.get()){
				max=value.get();
			}
			if(min>value.get()){
				min=value.get();
			}
		}
		context.write(key, new Text(String.valueOf(max)+":"+String.valueOf(min)));
	}

}
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop一个开源的分布式计算框架,用于处理大规模数据集的存储和处理,Hadoop的最新稳定版本是Hadoop-2.7.6。 要下载Hadoop-2.7.6,首先要打开Hadoop官方网站。在网站上,你可以找到并下载Hadoop的各个版本。你可以通过以下步骤来下载Hadoop-2.7.6: 1. 打开你的网页浏览器,输入Hadoop官方网站的URL地址,例如http://hadoop.apache.org。 2. 在网站的主页上,找到并点击“Downloads”或者“下载”选项。 3. 进入下载页面后,你会看到Hadoop的不同版本列表,找到“Hadoop 2.7.6”并点击进入。 4. 进入Hadoop-2.7.6的下载页面后,你会看到各种不同的下载选项,包括源码、二进制文件和签名校验等。选择你需要的下载选项,比如选择二进制文件下载。 5. 完成选择后,点击下载按钮,你的浏览器将开始下载Hadoop-2.7.6的文件。 6. 下载完成后,你可以在下载文件的存储位置找到刚才下载的Hadoop-2.7.6文件。 在下载Hadoop之前,确保你的计算机满足Hadoop的硬件和软件要,并且你已经具备基本的Hadoop使用知识。下载Hadoop之后,你可以按照Hadoop官方文档中的指南进行安装和配置,开始使用Hadoop进行大规模数据处理。 总之,下载Hadoop-2.7.6只需要几个简单的步骤,你可以通过Hadoop官方网站找到并下载该版本的Hadoop文件。记得在下载之前确保满足硬件和软件要,下载完成后,根据官方文档进行安装和配置,即可开始使用Hadoop进行分布式计算。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辰阳星宇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值