MR案例 - 计算总成绩

已于 2022-12-02 17:47:29 修改
阅读量685 收藏
点赞数 1
分类专栏： 探索大数据世界 文章标签： mr 总成绩
于 2022-12-02 15:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/128147706
版权
本文档详细介绍了如何使用MapReduce（MR）来计算学生的总成绩和平均分。首先，任务是在Hadoop环境下处理包含学生姓名及各科成绩的数据文件。接着，逐步指导创建Maven项目，添加相关依赖，编写映射器、归并器和驱动器类，并最终运行应用以查看计算结果。最后，提供巩固练习，要求计算每个学生的单科成绩、总成绩和平均分。
摘要由CSDN通过智能技术生成

文章目录

一、提出任务

  • 成绩表，包含五个字段（姓名、语文、数学、英语），只有三条记录
姓名 语文 数学 英语
张钦林 78 90 76
陈燕文 95 88 98
卢志刚 78 80 60
  • 成绩表文件 - score.txt
张钦林 78 90 76
陈燕文 95 88 98
卢志刚 78 80
了解本专栏 订阅专栏 解锁全文 超级会员免费看
howard2005
关注
专栏目录
订阅专栏
MR案例（3）：计算学生成绩（总分和平均分）
Kox_233的博客
12-19 1489
MR案例：计算学生成绩（总分和平均分）
大数据MR案例：计算学生成绩
new_renren的博客
12-20 253
利用MR框架，计算每个同学的平均分。然后新建一个maven项目。创建 sinput文件夹。进入hadoop目录。和score.txt。
MR案例：计算学生成绩
zl202111的博客
12-17 940
MR案例：计算学生成绩
hadoopmr实例_MR案例之实现平均成绩
weixin_30587271的博客
01-14 799
MR实现平均成绩mapreduce是否可以完成我们传统开发中经常遇到的一些任务。例如排序、平均数、批量word转换等。它和我们传统开发有什么不同。那么我们可以带着下面问题来阅读：1.mapreduce是如何求平均值的？2.map在求平均值的作用是什么？3.reduce在求平均值的作用是什么？一、简介："平均成绩"主要目的还是在重温经典"WordCount"例子，可以说是在基础上的微变化版，该实例主...
MR案例之实现平均成绩
爱偷吃香蕉的萌猴子
03-27 1863
MR实现平均成绩mapreduce是否可以完成我们传统开发中经常遇到的一些任务。例如排序、平均数、批量word转换等。它和我们传统开发有什么不同。那么我们可以带着下面问题来阅读：1.mapreduce是如何求平均值的？2.map在求平均值的作用是什么？3.reduce在求平均值的作用是什么？ 一、简介："平均成绩"主要目的还是在重温经典"WordCount"例子，可以说是在基础上的微变化版，该实例主
大数据入门--hadoop（四）--MR案例
书山有路，学海无涯
06-26 593
案例一：ReduceJoin 场景： 假设我们现在有两张表数据：商品表和订单表 订单表：订单编号 商品ID 购买数量 001 01 2 002 01 1 003 02 1 004 03 2 005 04 1 商品表：商品ID 商品名称 商品单价 01 华为Mate40 5999 02 华为笔记本 6999 03 小米笔记本 3999 04 苹果笔记本 10999 05 联想笔记本 7999 现在要求我们对两个表进行left join操作 解析思路： 逆向思考–>Reduce阶段需要让相同的商品
mr案例实操
自律
11-24 326
代码和文件已打包上传，可先下载学习，包里分为两个文件，对应本篇的目录 mapreduce文件 1.统计文件每个单词出现次数，并分区 单词首字母a-p一个文件，q-z一个文件 文件： 效果： 2.统计每个手机号花费情况，并按手机号前三位分区 文件： 操作中要把第一行中文去掉 效果： 3.某班学生的语文和数学成绩，请将这两科成绩汇总并以姓名、总成绩两列输出到一个结果 文件： 效果： hadoop03文件 4. 输出流量使用量在前10的用户信息 flow文件 5.map join案例 对应
MapReduce案例1——求学生成绩普通版
jin6872115的博客
03-16 1954
使用MapReduce求学生成绩：基础版computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangj...
R数据分析：方法与案例详解--自学笔记
cm20121878的博客
12-20 1万+
@[TOC] (目录） 第二章 数据结构与基本运算 2.1 数据类型 数值型（numeric） 整数 小数 科学数 字符型（character） == 夹杂单引号或者双引号之间==“MR” 逻辑型 ==只能读取T （TRUE）或 F (FALSE)值 复数型 a+bi 原始型（raw） 以二进制形式保存数据 默认值（missing value） 不可得到（not available）或 缺失值（missing value）时，相关位置可能会被保留并且赋予一个特定的NA 任何NA的运算结果都是NA is.na
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征提取（论文篇二）
最新发布
qq_36130719的博客
04-17 479
对文本进行自动分类的过程。在该系统中，将待分类的文本输入到文本分类系统中，输出的是。涉及到的词嵌入和预训练语言模型、神经网络和深度学习、多尺度特征提取等技术。事实上，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的。人工神经网络是模拟人类大脑的神经结构来进行设计的，用一种数学和计算模型。来模拟自然界生物的神经元活动，由大量相互连接的神经元来对信息进行计算和。传递，最终利用误差反向传播来对模型的参数进行调整，来拟合输入和输出的关。大多深度网络网络模型只使用最后一层的卷积特征，这样可能会造成信息的。
MATLAB算法实战应用案例精讲-【人工智能】语义分割（最终篇）(附实战应用案例及代码实现)
qq_36130719的博客
01-02 1636
SETR 是首个在分割任务上超越 CNN 的 Transformer 网络结构，该论文作者认为，虽然 FCN 及其衍生网络都取得了较好的成绩，但本质上都是 encoder-decoder 的结构，所以，该论文作者想要将分割任务构建成一个 sequence-to-sequence 的结构，所以就提出了一个纯 Transformer 的结构（无 CNN 和分辨率降低）。HRNet 通过将由高到低的分辨率特征结合起来的方式，实现对高分辨率特征的保留，并且不同分辨率的特征也进行了信息交换。
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 6万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9684
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 8843
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7547
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7189
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 5881
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5601
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
三菱MR-E-A伺服放大器使用及环境条件
"三菱MR-E-A伺服放大器使用手册提供了关于如何安全操作和设置MR-E系列AC伺服系统的详细指导。该手册适用于HF-KF系列电机，涵盖了环境条件、湿度、振动以及不同型号伺服放大器的放电时间等关键信息。" MR-E-A伺服...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

howard2005

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值