MapReduce案例1——求学生成绩普通版

本文通过两个MapReduce案例,展示了如何利用MapReduce进行学生成绩的统计分析。第一题中,我们计算了各课程的成绩最大值、最小值和平均值。第二题则统计了特定科目中出现相同分数的人数及这些学生的姓名。
摘要由CSDN通过智能技术生成

使用MapReduce求学生成绩:基础版
computer,huangxiaoming,85
computer,xuzheng,54

computer,huangbo,86

computer,liutao,85
computer,huanglei,99
computer,liujialing,85
computer,liuyifei,75
computer,huangdatou,48
computer,huangjiaju,88
computer,huangzitao,85
english,zhaobenshan,57
english,liuyifei,85
english,liuyifei,76
english,huangdatou,48
english,zhouqi,85
english,huangbo,85
english,huangxiaoming,96
english,huanglei,85
english,liujialing,75
algorithm,liuyifei,75
algorithm,huanglei,76
algorithm,huangjiaju,85
algorithm,liutao,85
algorithm,huangdou,42
algorithm,huangzitao,81
math,wangbaoqiang,85
math,huanglei,76
math,huangjiaju,85
math,liutao,48
math,xuzheng,54
math,huangxiaoming,85
math,liujialing,85
以上所有的是数据,该数据每行有三个字段值,分别是course,name,score

现在求:
1、每一个course的最高分,最低分,平均分
返回结果格式:
course max=95 min=22 avg=55
例子:
computer max=99 min=48 avg=75

2、求该成绩表当中科目出现了相同分数(人数大于1)的,求分数,次数,以及该分数的人
返回结果的格式:
科目 分数 次数 该分数的人
例子:

computer 85

  • 0
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
倒排索引是一种常用的数据结构和算法,用于快速定位某个单词在大规模文本中出现的位置。在倒排索引中,单词作为关键词,而文本作为关键词的集合。通过倒排索引,我们可以快速找到包含某个关键词的文本片段。 在MapReduce中,倒排索引也是一个常见的应用案例。它可以将输入的文本数据分割成若干个独立的小块,然后通过Map阶段将每个小块中的单词作为关键词,将其所在的文本块作为值进行映射。接着,在Reduce阶段中,将具有相同关键词的文本块进行合并,形成一个完整的倒排索引。 为了实现倒排索引的MapReduce程序,我们可以使用一个压缩包来运行。这个压缩包包含了所有必要的代码、配置文件和依赖项,以及输入文本数据。在运行压缩包时,MapReduce框架会自动加载其中的内容,并按照预定义的Map和Reduce函数进行处理。 通过将倒排索引程序打包成压缩包,可以方便地将程序部署到集群中的所有节点上。在集群中的每个节点上运行倒排索引程序,可以并行地处理大规模的输入数据。在MapReduce框架的控制下,每个Map和Reduce任务都会得到正确的输入和输出,并最终生成完整的倒排索引。 总之,倒排索引是MapReduce的一个经典案例,通过使用压缩包来运行倒排索引程序,可以方便地部署到集群中,并实现高效的并行处理。这种方式可以加速倒排索引的生成过程,并提高数据处理的效率。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值