【spark-Spark编程-笔记3】join、zip、combineByKey、计算学生平均成绩

最新推荐文章于 2023-09-02 10:47:21 发布
最新推荐文章于 2023-09-02 10:47:21 发布
阅读量2.6k 收藏 3
点赞数
分类专栏： spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53387569/article/details/124397575
版权

目录

使用join连接两个RDD

用zip组合两个RDD

使用combineByKey合并相同键的值

计算学生平均成绩

使用join连接两个RDD

选取rdd1与rdd2共有的键进行连接，

因为k3键只在rdd1中，rdd2中没有k3，所以k3不进行连接

同理：

 

用zip组合两个RDD

这里要求两个RDD的partition(分区)数量以及元素数量都相同，否则会抛出异常(两个一维)

同理：一个一维，一个二维连接

使用combineByKey合并相同键的值

combineByKey用于将相同键的数据聚合，并且允许返回类型与输入数据类型不同的返回值

string类型：

int类型：

计算学生平均成绩

1、提取两个成绩表中的学号和成绩

2、将两个表进行合并

3、将两个表中相同学号的成绩进行相加，并统计科目数量（2）

4、求平均成绩

冬雪落江南
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
项目二：利用Spark SQL计算平均分
howard2005的专栏
06-16 1024
利用Spark SQL基于多个成绩文件计算平均分
Spark SQL案例：计算平均分（大数据实训03）
qq_56244269的博客
06-17 1088
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 - 1 张三丰 89 2 李孟达 95 3 唐雨涵 92 4 王晓云 93 5 张晓琳 88 6 佟湘玉 88 7 杨文达 66 8 陈燕文 98 Spark成绩表 - Django成绩表 - 期望输出结果如下所示：1 张三丰 81.33 2 李孟达 88.67 3 唐雨涵 92.67 4 王晓云 85.00 5 张晓琳 86.67 6 佟湘玉 82.33 7 杨文达 82.
Spark作业求学生平均成绩
qq_62127918的博客
05-06 687
安装好Idea软件，最好不要用最新版，并且在idea里插入scala插件。给定一组数据，通过spark编程实验实现每名学生的平均成绩，并且。最后确定就在idea里装好scala插件了，接下来就可以实验了。2001501 李小明 88 91 86。2001503 刘成东 62 71 58。2001505 刘小小 75 62 53。2001504 铙刚 79 85 83。2001506 王艳 88 91 93。2001507 李远 81 78 83。学号 姓名 语文 数学 英语。
SparkRDD ：计算平均分
s_caiji的博客
06-17 1471
Spark ：计算平均分
Spark编程: 编写独立应用程序求成绩平均值 2020.10.16
Beyond_Nothing
10-22 4437
文章目录实现步骤1.建立目录结构2.添加配置信息3.导入代码文件(dhlTest.scala)4. 编写文件 在路径:/usr/local/spark/StuGrade 下注意: 其他类似5.打包并运行编译打包运行 独立运行文件: dhlTest2.scala import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object dhlTest2
spark笔记.zip
04-23
"Spark笔记"可能涵盖了以下几个关键知识点： 1. Spark架构：Spark采用Master-Worker模式，Master节点管理任务调度，Worker节点运行任务。Spark的核心组件包括Driver、Executor和Cluster Manager。Driver负责解析并...
spark python 开发环境_pyspark学习笔记: 一些环境配置问题
weixin_39610366的博客
12-06 865
使用pyspark一些环境配置问题基本配置cd /usr/local/sparkcp ./conf/spark-env.sh.template ./conf/spark-env.sh编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/ha...
Spark SQL.xmind.zip
08-12
进入Spark的世界，Spark的核心优势在于其内存计算能力，比Hadoop MapReduce更快，更适合迭代计算和交互式数据分析。Spark SQL是Spark的一个模块，它将SQL查询语言与DataFrame API结合，使得开发者可以使用熟悉的SQL...
一、Spark简明笔记
Norni的博客
12-12 1022
目录1、Spark概述2、Spark体验2.1 Maven项目相关配置2.2 Spark运行环境2.2.1 Local模式2.2.2 Standalone模式2.2.3 Yarn模式2.3 部署模式的比较2.4 常用端口号3、Spark核心编程3.1 RDD3.1.1 RDD的定义3.1.2 RDD的核心属性3.1.3 基础编程3.1.3.1 RDD创建3.1.3.2 RDD并行度与分区3.1....
Spark RDD Transformation 详解---Spark学习笔记7
热门推荐
OopsOutOfMemory盛利的博客
04-04 2万+
这几天学习了Spark RDD transformation 和 action ，做个笔记记录下心得，顺便分享给大家。 1. 启动spark-shell  SPARK_MASTER=local[4] ./spark-shell.shWelcome to       ____              __        / __/__  ___ _____/ /__     _\ \/
Spark SQL案例：计算平均分
guangzhizi_llj的博客
06-17 322
spark sql案例！！
8 | Spark计算学生的平均分数
最新发布
微信号：RunsenLiu
09-02 524
我们有一组学生的姓名和分数数据，我们需要计算每个学生的平均分数。
Spark-RDD使用IDEA-Scala练习题：每个输入支件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩
每天八杯水的博客
12-19 4869
Spark-RDD使用IDEA-Scala练习题：每个输入支件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩
Spark求平均成绩–Scala
weixin_45795332的博客
05-07 2464
Spark求平均成绩–Scala 数据–score下的三个文件 张三,78 李四,89 王五,96 赵六,67 张三,80 李四,82 王五,84 赵六,86 张三,88 李四,99 王五,70 赵六,77 代码 map之后首先使用groupBykey进行聚合操作，在map进行平均值的计算，最后进行格式化输出 package com.zyy.spark.core import org.apache.spark.{SparkConf, SparkContext} import org.apache.s
使用spark core获取每个学科的平均分
CSDN_944的博客
08-19 1141
使用spark core获取每个学科的平均分 //数据信息 zhangsan math 88 zhangsan china 78 zhangsan english 80 lisi math 99 lisi china 89 lisi english 82 wangwu math 66 wangwu china 96 wangwu english 84 zhaoliu math 77 zhaoliu china 67 zhaoliu english 86.55 def m..
spark RDD编程 第3关：求平均值
weixin_44686879的博客
10-22 6637
任务描述 本关任务：编写Spark独立应用程序实现求平均值。 相关知识 为了完成本关任务，你需要掌握：RDD的创建；RDD的转换操作；RDD的行动操作。 RDD的创建 使用textFile()方法从本地文件系统中加载数据创建RDD，示例如下： val lines = sc.textFile("file:///home/hadoop/word.txt") 执行sc.textFile()方法以后，Spark从本地文件word.txt中加载数据到内存，在内存中生成一个RDD对象lines，这个RDD里
Spark中的combineByKey
snail_gesture的博客
11-29 787
Spark中的combineByKey 时间 2015-01-23 21:35:00  逸思 原文  http://zhangyi.farbox.com/post/combinebykey-in-spark 主题 软件开发 在数据分析中，处理Key，Value的Pair数据是极为常见的场景，例如我们可以针对这样的数据进行分组、聚合或者将两个包含Pair数据的RDD根据key
Spark RDD计算总分与平均分
梁辰兴的博客
06-06 2160
针对成绩表，计算每个学生总分和平均分读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。执行命令：start-dfs.sh 执行命令：start-all.sh 在/home里创建scores.txt文件 在HDFS上创建/scores/input目录，将成绩文件上传至该目录 执行命令： 执行命令： 执行命令： 执行上述代码 执行命令： 执行命令： 执行命令：S
输入3个学生的成绩，求这3个学生的总成绩和平均成绩。
Hlucky123的博客
01-26 3106
#include<stdio.h> main() { int i; float score[3],avg=0; printf("请输入3个数:"); for(i=0;i<3;i++) scanf("%f",&score[i]);//获取数据 avg=f(score , 3);//调用函数 printf("平均成绩为%f\n",avg);//输出结果 } float f(float a[10],int n) {int i; float t =0,avg=0; for(i=0;i&lt
掌握Spark-submit：部署与应用提交指南
Spark-submit是Apache Spark项目中的一个重要组件，用于在集群上提交、管理和监控Spark应用程序的执行。它允许用户轻松地在Hadoop分布式文件系统（HDFS）上运行大规模的数据处理任务，无需详细了解底层的集群配置和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值