Spark案例：计算平均分

最新推荐文章于 2023-06-06 12:17:11 发布
最新推荐文章于 2023-06-06 12:17:11 发布
阅读量222 收藏 1
点赞数
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xue1100/article/details/125430217
版权
本文介绍了如何利用Spark在分布式环境下计算成绩平均分的步骤，包括新建Maven项目，配置相关依赖，创建日志属性文件，以及编写计算平均分的Scala代码，最后通过本地运行展示结果。
摘要由CSDN通过智能技术生成

一、提出任务

  • 预备工作：启动集群的HDFS与Spark

在HDFS上新建/score目录

 

 将三个成绩文件上传到HDFS的/score目录

 

二、完成任务

（一）新建Maven项目

  • 设置项目信息（项目名、保存位置、组编号、项目编号）

将java目录改成scala目录

最低0.47元/天 解锁文章
薛二娃
关注
8 | Spark计算学生的平均分数
微信号：RunsenLiu
09-02 534
我们有一组学生的姓名和分数数据，我们需要计算每个学生的平均分数。
项目二：利用Spark SQL计算平均分
howard2005的专栏
06-16 1034
利用Spark SQL基于多个成绩文件计算平均分
Spark SQL案例：计算平均分
HTY_yysd的博客
06-17 466
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 - 在控制台查看输出结果
Spark经典案例之求平均值
zhangMY12138的博客
03-15 3649
1、需求分析 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。 要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。 2、原始数据 1）math： 张三,88 李四,99 王五,66 赵六,77 2）china： 张三,78 李四,89 王五,96 赵六,67 3）english...
Spark求平均值的三种方法
热门推荐
gx304419380的博客
03-06 2万+
方法一： 利用groupByKey //求平均 方法一： groupByKey textFile.mapToPair(line -> new Tuple2<>(line.split(" ")[0], Integer.parseInt(line.split(" ")[1]))) .groupByKey() ...
spark 求平均值
超电磁手炮的博客
01-15 1344
val rdd=sc.makeRDD(List(("a",1),("a",2),("a",3),("b",1),("b",2),("b",3),("b",4),("a",4)),2) combineByKey rdd.combineByKey( x=>(x, 1), (x: (Int, Int), y: Int) => (x._1 + y, x._2 + 1), (x: (Int, Int), y: (Int, Int)) => (x._1 + y.
Spark RDD案例：计算平均分
qq_57026298的博客
06-23 569
spark rdd
Spark SQL 表达式计算
05-16
表达式计算在Spark SQL中随处可见，本演讲将简介表达式、UDF、UDAF、UDTF的概念，主要的API，以及如何扩展Spark SQL函数库。本演讲还将提及Catalyst在计划阶段和Project Tungsten在执行层做的优化，以及未来性能提升可能的方向:向量化
Spark作业求学生平均成绩
qq_62127918的博客
05-06 715
安装好Idea软件，最好不要用最新版，并且在idea里插入scala插件。给定一组数据，通过spark编程实验实现每名学生的平均成绩，并且。最后确定就在idea里装好scala插件了，接下来就可以实验了。2001501 李小明 88 91 86。2001503 刘成东 62 71 58。2001505 刘小小 75 62 53。2001504 铙刚 79 85 83。2001506 王艳 88 91 93。2001507 李远 81 78 83。学号 姓名 语文 数学 英语。
spark更加高效的求平均数
wxdoop的博客
12-24 238
今天看书看到了mapPartitions,体会了一下分区操作。 package com.cnnc.sparkLearning import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object test { def main(args: Array[String]): Unit =...
Spark RDD计算总分与平均分
最新发布
梁辰兴的博客
06-06 2204
针对成绩表，计算每个学生总分和平均分读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。执行命令：start-dfs.sh 执行命令：start-all.sh 在/home里创建scores.txt文件 在HDFS上创建/scores/input目录，将成绩文件上传至该目录 执行命令： 执行命令： 执行命令： 执行上述代码 执行命令： 执行命令： 执行命令：S
大数据：计算学生成绩
X_Serendipity的博客
12-17 1067
计算学生成绩
SparkRDD算子练习
weixin_55983492的博客
08-10 2635
练习一： scala> val list = List(("zhangsan",85),("zhangsan",90),("zhangsan",76),("lisi",80),("lisi",75),("lisi",89)) scala> val rdd = sc.parallelize(list) //将相同key的值聚合到一起 scala> val rdd1 = rdd.reduceByKey((a,b)=>a+b) //查看结果 scala> rdd1.collect
Hadoop 学生平均成绩
weixin_30532837的博客
07-15 810
1.实例描述 　　通过一个计算学生平均成绩的例子来讲解开发MapReduce程序的流程。输入文件都是纯文本文件，输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。输出文件每行包含学生的姓名和平均成绩。下面给出样本输入文件，以及跑MapReduce程序过后的输出文件。代码亲测可用。注意：本人的开发环境是在Ubuntu+Eclipse下跑的。 　　1）ma...
SparkCore对学生成绩的统计案例
bbrry的博客
11-02 2828
SparkCore对学生成绩的统计案例 根据数据文件对数据进行分析，完成如下功能： （1）查询学生成绩表中的前5名； （2）输出单科成绩为100分的学生ID； （3）输出每位学生所有科目的总成绩。
scala求平均值，中位值，众数
weixin_44947939的博客
07-26 1611
scala求平均值，中位值，众数
Spark SQL案例：1998年航班数据的繁忙时段分析
在Spark SQL中，我们使用`AVG`（平均值）、`COUNT`（计数）和`SUM`（求和）等统计函数来计算每个时间段的航班离港次数。时间被划分为五个区间：凌晨（00:00-06:00）、早上（06:01-10:00）、中午（10:01-14:00）、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值