MapReduce--平均分,最高,低分以及及格率的计算

                    MapReduce--平均分,最高,低分以及及格率的计算

计算班级的平均分,以及个人的最高最低分,以及每个班级的及格率。

来先看一下我的数据。

时间			班级		姓名		科目			成绩
20180501 		1708a1 		li 		bishi 			80
20180501 		1708a1 		li 		jishi 			55
20180501 		1708a1 		li 		project 		90
20180501 		1708a1 		li2		bishi 			80
20180501 		1708a1 		li2		jishi 			20
20180501 		1708a1 		li2		project 		90
20180501 		1708a1 		li3		bishi 			50
20180501 		1708a1 		li3		jishi 			70
20180501 		1708a1 		li3		project 		60
20180501 		1708a1 		zhangsan 	bishi 			88
20180501 		1708a1 		zhangsan 	jishi 			55
20180501 		1708a1 		zhangsan 	project 		98
20180501 		1708a1 		lishi 		bishi 			18
20180501 		1708a1 		lishi 		jishi 			15
20180501 		1708a1 		lishi 		project 		15
20180501 		1708a1 		wangwu		bishi 			88
20180501 		1708a1 		wangwu		jishi 			76
20180501 		1708a1 		wangwu		project 		70
20180501 		1708a2 		li1 		bishi 			80
20180501 		1708a2 		li1 		jishi 			71
20180501 		1708a2 		li1 		project 		96
20180501 		1708a2 		li2 		bishi 			80
20180501 		1708a2 		li2 		jishi 			26
20180501 		1708a2 		li2 		project 		90
20180501 		1708a2 		li3 		bishi 			80
20180501 		1708a2 		li3 		jishi 			55
20180501 		1708a2 		li3 		project 		90
20180501 		1708a2 		zhangliang 	bishi 			81
20180501 		1708a2 		zhangliang 	jishi 			55
20180501 		1708a2 		zhangliang 	project 		98
20180501 		1708a2 		liuli 		bishi	 		70
20180501 		1708a2 		liuli 		jishi 			95
20180501 		1708a2 		liuli 		project 		75
20180501 		1708a2 		wangwu 		bishi 			80
20180501 		1708a2 		wangwu 		jishi 			76
20180501 		1708a2 		wangwu 		project 		70
20180501 		1708a2 		zhangxi 	bishi 			18
20180501 		1708a2 		zhangxi 	jishi 			16
20180501 		1708a2 		zhangxi 	project 		10

数据之间是空格。。。。

代码来了 -- 平均分,最高分,最低分

package com.huhu.day01;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.had
  • 0
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop-mapreduce-client-core是Hadoop分布式计算框架中的核心模块之一。它主要包含了Hadoop MapReduce的核心功能和API接口,是实现MapReduce编程模型的必备组件。 Hadoop MapReduce是一种用于大规模数据处理的编程模型,其核心思想是将大规模数据集分解成多个较小的数据块,分别在集群中的不同机器上进行处理,最后将结果整合。hadoop-mapreduce-client-core模块提供了与MapReduce相关的类和方法,方便开发者实现自定义的Map和Reduce任务。 具体来说,hadoop-mapreduce-client-core模块包含了以下重要组件和功能: 1. Job:Job表示一个MapReduce任务的定义和描述,包括输入路径、输出路径、Mapper和Reducer等。 2. Mapper:Mapper是MapReduce任务中的映射函数,它负责将输入数据转换成<key, value>键值对的形式。 3. Reducer:Reducer是MapReduce任务中的归约函数,它按照相同的key将所有Mapper输出的value进行聚合处理。 4. InputFormat:InputFormat负责将输入数据切分成多个InputSplit,每个InputSplit由一个Mapper负责处理。 5. OutputFormat:OutputFormat负责将Reducer的输出结果写入指定的输出路径中。 使用hadoop-mapreduce-client-core模块,开发者可以基于Hadoop分布式计算框架快速开发并行处理大规模数据的应用程序。通过编写自定义的Mapper和Reducer,可以实现各种类型的分布式计算,如数据清洗、聚合分析、机器学习等。 总之,hadoop-mapreduce-client-core是Hadoop分布式计算框架中的核心模块,提供了实现MapReduce编程模型所需的基本功能和API接口。使用该模块,开发者可以利用Hadoop的分布式计算能力,高效地处理和分析大规模数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值