Spark题目练习

最新推荐文章于 2022-08-29 18:07:32 发布
最新推荐文章于 2022-08-29 18:07:32 发布
阅读量309 收藏 2
点赞数
分类专栏： 题目整理 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhmqy/article/details/108060021
版权

建表：

private val schema = StructType(Array(
    StructField("student_id", IntType, true),
    StructField("student_name", StringType, true),
    StructField("birth", StringType, true),
    StructField("sex", StringType, true)
  ))
val rdd = sc.makeRDD(Array(
(1 , "赵雷" , "1990-01-01" , "男"),
(2 , "钱电" , "1990-12-21" , "男"),
(3 , "孙风" , "1990-05-20" , "男"),
(4 , "李云" , "1990-08-06" , "男"),
(5 , "周梅" , "1991-12-01" , "女"),
(6 , "吴兰" , "1992-03-01" , "女"),
(7 , "郑竹" , "1989-07-01" , "女"),
(8 , "王菊" , "1990-01-20" , "女")))
private val studentDF: DataFrame = spark.createDataFrame(rdd,schema)

private val schema2 = StructType(Array(
    StructField("course_id", IntType, true),
    StructField("course_name", StringType, true),
    StructField("teacher_id", IntType, true)
  ))
val rdd2 = sc.makeRDD(Array(
(1 , "语文" , 2),
(2 , "数学" , 1),
(3 , "英语" , 3)
))
private val courseDF: DataFrame = spark.createDataFrame(rdd2,schema2)

private val schema3 = StructType(Array(
    StructField("teacher_id", IntType, true),
    StructField("teacher_name", StringType, true)
  ))
val rdd3 = sc.makeRDD(Array(
(1 , "张三"),
(2 , "李四"),
(3 , "王五")
))
private val teacherDF: DataFrame = spark.createDataFrame(rdd3,schema3)

private val schema3 = StructType(Array(
    StructField("student_id", IntType, true),
    StructField("course_id", IntType, true),
	StructField("score", IntType, true)
  ))
val rdd4 = sc.makeRDD(Array(
(1 , 1 , 80),
(1 , 2 , 90),
(1 , 3 , 99),
(2 , 1 , 70),
(2 , 2 , 60),
(2 , 3 , 80),
(3 , 1 , 80),
(3 , 2 , 80),
(3 , 3 , 80),
(4 , 1 , 50),
(4 , 2 , 30),
(4 , 3 , 20),
(5 , 1 , 76),
(5 , 2 , 87),
(6 , 1 , 31),
(6 , 3 , 34),
(7 , 2 , 89),
(7 , 3 , 98)))
private val scoreDF: DataFrame = spark.createDataFrame(rdd3,schema3)

import org.apache.spark.sql.functions._

//todo 1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数:
scoreDF.as("s1").join(scoreDF.as("s2"),"student_id").filter("s1.course_id=1 and s2.course_id=2 and s1.score>s2.score").join(studentDF,"student_id").show
//todo 2.查询"01"课程比"02"课程成绩低的学生的信息及课程分数:
scoreDF.as("s1").join(scoreDF.as("s2"),"student_id").filter("s1.course_id=1 and s2.course_id=2 and s1.score<s2.score").join(studentDF,"student_id").show
//todo 3.查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩
scoreDF.as("s1").groupBy("student_id").avg("score").join(studentDF.as("s2"),"student_id").filter($"avg(score)">=60).show
//todo 4.查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩:(包括有成绩的和无成绩的)
studentDF.as("s2").join((scoreDF.as("s1").groupBy("student_id").avg("score")).as("s3"),Seq("student_id"),"left_outer").as("s").withColumnRenamed("avg(score)","A").where((col("A")<60) || (col("A").isNull)).show
//todo 5.查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩:
//todo 选课数
scoreDF.groupBy("student_id").count
//todo 总成绩
scoreDF.groupBy("student_id").sum("score")
//todo 连表
studentDF.join(scoreDF.groupBy("student_id").count,Seq("student_id"),"left_outer").join(scoreDF.groupBy("student_id").sum("score"),Seq("student_id"),"left_outer").show
//todo 6.查询"李"姓老师的数量:
teacherDF.where("teacher_name like '李%'").select("teacher_id").count
//todo 7.查询学过"张三"老师授课的同学的信息:
scoreDF.join(courseDF,"course_id").join(teacherDF,"teacher_id").filter("teacher_name = '张三'").join(studentDF,"student_id").show
//todo 8.查询没学过"张三"老师授课的同学的信息:
studentDF.join(scoreDF.join(courseDF,"course_id").join(teacherDF,"teacher_id"),Seq("student_id"),"left_outer").where("teacher_name!='张三' or teacher_name is null").show
//todo 9.查询学过编号为"01"并且也学过编号为"02"的课程的同学的信息:
scoreDF.where("course_id in(1,2)").groupBy("student_id").count.where("count=2").join(studentDF,"student_id").show
//todo 10.查询学过编号为"01"但是没有学过编号为"02"的课程的同学的信息:
studentDF.join(scoreDF.where("course_id in (2)"),Seq("student_id"),"left_outer").as("s1").where("s1.course_id is null").join(scoreDF.where("course_id in (1)"),"student_id").show
//todo 11、查询没有学全所有课程的同学的信息:
studentDF.join(scoreDF,Seq("student_id"),"left_outer").groupBy("student_id").count.where(s"count != ${courseDF.select("course_id").count}").join(studentDF,"student_id").show
//todo 12、查询至少有一门课与学号为"01"的同学所学相同的同学的信息:
studentDF.as("a").join(scoreDF.as("c"),"student_id").as("d").join(scoreDF.where("student_id=1").as("b"),"course_id").select("d.student_id").distinct.where("student_id!=1").join(studentDF,"student_id").show
//todo 13.查询和"01"号的同学学习的课程完全相同的其他同学的信息:
scoreDF.where("student_id=1").as("s1").join(scoreDF.as("s2"),"course_id").groupBy("s2.student_id").count.as("s3").where(s"count = ${scoreDF.where("student_id=1").count} and student_id!=1").join(studentDF,"student_id").show
//todo 14、查询没学过"张三"老师讲授的任一门课程的学生姓名:
studentDF.join(teacherDF.where("teacher_name='张三'").join(courseDF,"teacher_id").join(scoreDF,Seq("course_id"),"left_outer"),Seq("student_id"),"left_outer").as("s1").where("s1.teacher_id is null").show
//todo 15、查询两门及其以上不及格课程的同学的学号，姓名及其平均成绩:
scoreDF.where("score<60").groupBy("student_id").count.where("count>=2").as("s1").join(scoreDF.as("s2"),"student_id").groupBy("student_id").avg("score").join(studentDF,"student_id").show
//todo 16、检索"01"课程分数小于60，按分数降序排列的学生信息:
scoreDF.where("course_id=1 and score<60").join(studentDF,"student_id").orderBy($"score".desc).show
//todo 17、按平均成绩从高到低显示所有学生的所有课程的成绩以及平均成绩:
scoreDF.join(scoreDF.groupBy("student_id").avg("score"),Seq("student_id"),"left_outer").join(studentDF,"student_id").orderBy($"avg(score)".desc).show
//todo 18.查询各科成绩最高分、最低分和平均分：以如下形式显示：课程ID，课程name，最高分，最低分，平均分，及格率，中等率，优良率，优秀率:
val jige = scoreDF.rdd.map(x=>{if(x.getAs("score").toString.toInt > 60) (x(1).toString,1) else (x(1).toString,0)}).reduceByKey(_+_).toDF("course_id","jige")
val zhongdeng = scoreDF.rdd.map(x=>{if(x.getAs("score").toString.toInt > 70) (x(1).toString,1) else (x(1).toString,0)}).reduceByKey(_+_).toDF("course_id","zhongdeng")
val youliang = scoreDF.rdd.map(x=>{if(x.getAs("score").toString.toInt > 80) (x(1).toString,1) else (x(1).toString,0)}).reduceByKey(_+_).toDF("course_id","youliang")
val youxiu = scoreDF.rdd.map(x=>{if(x.getAs("score").toString.toInt > 90) (x(1).toString,1) else (x(1).toString,0)}).reduceByKey(_+_).toDF("course_id","youxiu")
val s1 = scoreDF.groupBy("course_id").agg("score"->"max","score"->"min","score"->"avg","score"->"count")
s1.join(jige,"course_id").join(zhongdeng,"course_id").join(youliang,"course_id").join(youxiu,"course_id").withColumn("jgl",$"jige"/$"count(score)").withColumn("zdl",$"zhongdeng"/$"count(score)").withColumn("yll",$"youliang"/$"count(score)").withColumn("yxl",$"youxiu"/$"count(score)").drop("jige","zhongdeng","youliang","youxiu").show
//todo 19、按各科成绩进行排序，并显示排名:
scoreDF.selectExpr("*","row_number() over(partition by course_id order by score desc) rank").show
//todo 20、查询学生的总成绩并进行排名:
scoreDF.selectExpr("*","sum(score) over(partition by student_id) as sum_score").dropDuplicates("student_id","sum_score").selectExpr("*","row_number() over(order by sum_score desc) rank").show
//todo 21、查询不同老师所教不同课程平均分从高到低显示:
scoreDF.join(courseDF,"course_id").join(teacherDF,"teacher_id").groupBy("teacher_id","course_id").avg("score").orderBy($"avg(score)".desc).show
//todo 22、查询所有课程的成绩第2名到第3名的学生信息及该课程成绩:
scoreDF.selectExpr("*","row_number() over(partition by course_id order by score desc) rank").where("rank between 2 and 3").join(studentDF,"student_id").show
//todo 23.统计各科成绩各分数段人数：课程编号,课程名称,[100-85],[85-70],[70-60],[0-60]及所占百分比
val fenduan = scoreDF.rdd.map(x=>{
if(x.getAs("score").toString.toInt < 60) (x(1).toString,1)
else if(x.getAs("score").toString.toInt < 70) (x(1).toString,2)
else if(x.getAs("score").toString.toInt < 85) (x(1).toString,3)
else (x(1).toString,4)
}).toDF("course_id","fenduan")
fenduan.groupBy("course_id").count.as("f1").join(fenduan.groupBy("course_id","fenduan").count.as("f2"),"course_id").withColumn("rate",$"f2.count"/$"f1.count").drop($"f1.count").join(courseDF,"course_id").show
//todo 24、查询学生平均成绩及其名次:
scoreDF.groupBy("student_id").avg("score").selectExpr("*",s"row_number() over(order by 'avg(score)' desc) as rank").show
//todo 25、查询各科成绩前三名的记录
scoreDF.selectExpr("*","row_number() over(partition by course_id order by score desc) rank").where("rank <=3").show
//todo 26、查询每门课程被选修的学生数:
scoreDF.groupBy("course_id").count.show
//todo 27.查询出只有两门课程的全部学生的学号和姓名:
scoreDF.groupBy("student_id").count.where("count=2").join(studentDF,"student_id").show
//todo 28、查询男生、女生人数:
studentDF.groupBy("sex").count.show
//todo 29、查询名字中含有"风"字的学生信息:
studentDF.where("student_name like '%风%'").show
//todo 30、查询同名同姓学生名单，并统计同名人数:
studentDF.groupBy("student_name").count.where("count>1").show
//todo 31、查询1990年出生的学生名单:
studentDF.where("year(birth) = 1990").show
//todo 32、查询每门课程的平均成绩，结果按平均成绩降序排列，平均成绩相同时，按课程编号升序排列:
scoreDF.groupBy("course_id").avg("score").orderBy($"avg(score)".desc).orderBy($"course_id").show
//todo 33、查询平均成绩大于等于85的所有学生的学号、姓名和平均成绩:
scoreDF.groupBy("student_id").avg("score").where("avg(score)>=85").join(studentDF,"student_id").show
//todo 34、查询课程名称为"数学"，且分数低于60的学生姓名和分数:
scoreDF.where("score<60").join(courseDF,"course_id").where("course_name='数学'").show
//todo 35、查询所有学生的课程及分数情况:
studentDF.join(scoreDF,Seq("student_id"),"left_outer").show
//todo 36.查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数:
scoreDF.where("score>70").join(studentDF,"student_id").join(courseDF,"course_id").show
//todo 37、查询课程不及格的学生:
scoreDF.where("score<60").join(studentDF,"student_id").show
//todo 38、查询课程编号为01且课程成绩在80分以上的学生的学号和姓名:
scoreDF.where("course_id=1 and score>=80").join(studentDF,"student_id").show
//todo 39.求每门课程的学生人数:
scoreDF.groupBy("course_id").count.show
//todo 40、查询选修"张三"老师所授课程的学生中，成绩最高的学生信息及其成绩:
scoreDF.join(courseDF,"course_id").join(teacherDF,"teacher_id").where("teacher_name='张三'").selectExpr("*","max(score) over() max_score").where("max_score=score").show
//todo 41、查询不同课程成绩相同的学生的学生编号、课程编号、学生成绩:
scoreDF.as("s1").crossJoin(scoreDF.as("s2")).where("s1.score=s2.score and s1.course_id!=s2.course_id").show
//todo 42、查询每门课程成绩最好的前三名:
scoreDF.selectExpr("*","row_number() over(partition by course_id order by score desc) rank").where("rank<=3").show
//todo 43、统计每门课程的学生选修人数（超过5人的课程才统计）要求输出课程号和选修人数，查询结果按人数降序排列，若人数相同，按课程号升序排列
scoreDF.selectExpr("*","count(1) over(partition by course_id) cnt").where("cnt>=5").orderBy($"cnt".desc).orderBy("course_id").drop("student_id","score").dropDuplicates("course_id","cnt").show
//todo 44、检索至少选修两门课程的学生学号:
scoreDF.groupBy("student_id").count.where("count>=2").show
//todo 45、查询选修了全部课程的学生信息:
studentDF.join(scoreDF,Seq("student_id"),"left_outer").groupBy("student_id").count.where(s"count = ${courseDF.select("course_id").count}").join(studentDF,"student_id").show
//todo 46、查询各学生的年龄(周岁):
studentDF.selectExpr("*","cast(date_format(current_date(),'yyyy') as Int)-cast(date_format(birth,'yyyy') as Int) age").show
//todo 47、查询本周过生日的学生:找到下周一-1即为本周最后一天,开始时间为当前天(若今天就是星期天会不会出错?)
studentDF.where("unix_timestamp(cast(concat_ws('-',date_format(current_date(),'yyyy'),date_format(birth,'MM'),date_format(birth,'dd')) as date),'yyyy-MM-dd') between unix_timestamp(current_date()) and unix_timestamp(date_sub(next_day(current_date(),'MON'),1),'yyyy-MM-dd')").show
//todo 48、查询下周过生日的学生: 下周1到+6天
studentDF.where("unix_timestamp(cast(concat_ws('-',date_format(current_date(),'yyyy'),date_format(birth,'MM'),date_format(birth,'dd')) as date),'yyyy-MM-dd')between unix_timestamp(next_day(current_date(),'MON'),'yyyy-MM-dd') and unix_timestamp(date_add(next_day(current_date(),'MON'),6),'yyyy-MM-dd')").show
//todo 49、查询本月过生日的学生:
studentDF.where("month(birth) = month(current_date())").show
//todo 50、查询12月份过生日的学生:
studentDF.where("month(birth) = 12").show
不想当和尚
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark考试练习题含答案.rar
06-22
spark考试练习题含答案.rar
spark练习题
afei2530的博客
09-07 480
site1,user1,2016-11-20 02:12:22 site1,user2,2016-11-28 04:12:22 site1,user3,2016-11-20 11:12:22 site1,user3,2016-11-23 11:12:22 site2,user4,2016-11-20 15:12:22 site3,user5,2016-11-29 08:12...
spark考试（练习题）
qq_52754254的博客
06-13 7961
spark考试（练习题）
【Spark】Spark基础练习题（一）
Together
04-06 1万+
为大家带来一些Spark的算子练习题，帮助大家巩固算子的用法！ 题目如下???? 1、读取文件的数据test.txt 2、一共有多少个小于20岁的人参加考试？ 3、一共有多少个等于20岁的人参加考试？ 4、一共有多少个大于20岁的人参加考试？ 5、一共有多个男生参加考试？ 6、一共有多少个女生参加考试？ 7、12班有多少人参加考试？ 8、13班有多少人参加考试？ 9、语文科目的平均成绩是多少？ 10、数...
【Spark基础练习题一】
懂得一千零一种,赋予你失败的方法！
11-29 2881
简单配置环境 package spark练习题.练习题01 import org.apache.spark.rdd.{JdbcRDD, RDD} import org.apache.spark.{SparkConf, SparkContext} import org.junit.Test import org.mortbay.util.ajax.JSON class e01 { val conf = new SparkConf().setAppName("test").setMaster("loc
spark考试（练习题）编程！
06-13
Spark考试（练习题）编程！ 在这篇文章中，我们将详细讨论 Spark 考试（练习题）编程！的相关知识点。 消息系统 消息系统是指能够在不同的应用程序之间传递消息的系统。常见的消息系统包括 Kafka、RabbitMQ 和 ...
spark考试（练习题）编程题笔记！
06-13
Spark考试（练习题）编程题笔记！ 一、RDD简介 RDD（Resilient Distributed DataSet）是 Spark 中的核心概念，表示弹性分布式数据集。它是容错的、并行的数据结构，可以让用户将数据存储到磁盘和内存中，并且还能...
大数据培训Spark练习题 code内容
04-22
大数据培训Spark练习题 使用spark的程序完成以下统计要求： 题目如下： 1. 读取文件的数据test.txt 2. 一共有多少个小于20岁的人参加考试？ 3. 一共有多少个等于20岁的人参加考试？ 4. 一共有多少个大于20岁的...
领英技能测试部分参考题目练习
11-14
本压缩包文件“in-quiz-questions-master”包含了针对领英技能测试的部分参考题目和答案，涵盖了多个IT相关领域，特别是对Python编程语言的深度练习。以下是对这些知识点的详细说明： 1. **Python基础知识**：...
大数据计算基础-练习题1
08-03
\n\n【题目解析】\n\n这部分主要是针对数据结构、算法和数据库的相关问题，如图的划分、单源最短路径算法、一致性模型、排序和搜索算法的外存实现、Bloom Filter的应用以及分布式计算的容错性。\n\n1. 单源最短路径...
Spark 练习测试题(答案仅供参考)
热门推荐
weixin_43631997的博客
07-05 1万+
选择题 1. spark 的四大组件下面哪个不是 (D) A.Spark Streaming B MLlib C Graph X D Spark R 2. Hadoop框架的缺陷有 (ABC) A.表达能力有限，MR编程框架的限制 B.过多的磁盘操作，缺乏对分布式内存的支持 C.无法高效低支持迭代式计算 D.海量的数据存储 3. 与hadoop相比，Spark主要有以下哪些优点（ABCD） A. 提供多种数据集操作类型而不仅限于MapReduce B. 数据集中式计算而...
云计算与大数据第16章 分布式内存计算平台Spark习题
m0_63394128的博客
08-29 2846
尾递归就是将递归语句写在函数的最底部，这样在每次调用尾递归时，就不需要保存当前状态值，可以直接把当前的状态值传递给下次一次调用，然后清空当前的状态。5、Spark Streaming是建立在Spark上的（ 实时计算 ）框架，提供了丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理进行交互式查询应用。A．执行器 B．主节点 C．从节点 D．上下文。6、Spark组件中，SparkContext是应用的（ C ），控制应用的生命周期。...
Spark练习题
qq_57340195的博客
11-11 2046
1、将提供的文件利用ftp上传到相应的文件夹下 上传前 1、在根目录下创建 hdfs上的文件夹并查看(目标文件OPT) hdfs dfs -mkdir -p /user/root #在hdfs的根目录创建opt目录 2、上传本地文件到HDFS上去 方法1： 在本地Hadoop用户上传 文件到 hdfs上 切换到相应文件夹下 cd /opt hdfs dfs -put 文件名 /目录 在spark中操作文件 1、创建RDD(text.Fil...
spark考试练习题
qq_56437391的博客
06-15 6013
自行查看
spark1.4的本地模式编程练习（1）
自天祐之，吉，无不利。
04-16 537
spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。 Wordcount UserMining TweetMining HashtagMining InvertedIndex Test Test代码package tutorial;import java.util.Arrays; import java.util.List;import org.apache.spark.SparkC
Spark练习题(1)
登峰造极胡子球手
04-08 2695
test.txt数据如下(都是按空格分隔的): 12 宋江 25 男 chinese 50 12 宋江 25 男 math 60 12 宋江 25 男 english 70 12 吴用 20 男 chinese 50 12 吴用 20 男 math 50 12 吴用 20 男 english 50 12 杨春 19 女 chinese 70 12 杨春 19 女 math 70 12 杨春 19 ...
spark sql的练习题
汉子一枚
04-18 3353
1、使用Structured Streaming读取Socket数据，把单词和单词的反转组成 json 格式写入到当前目录中的file文件夹中 2、请使用Structured Streaming读取student_info文件夹写的csv文件， 2.1、统计出文件中的男女生各有多少人 2.2、统计出姓“王”男生和女生的各有多少人 3、请使用Structured Streaming读取departm...
spark场景练习题（一）
weixin_44481341的博客
10-26 315
注意： 数据自己简单造一点就行，写完把代码复制在下面即可！ 第一题： 有数据文件test.txt，分隔符为“\t”，字段有id、time、url，用SparkCore实现分组取topn。求搜索引擎被使用最多的前三名 样例数据如下： id time url 2 11:08:23 google 3 12:09:11 baidu 1 08:45:56 sohu 2 16:42:17 yahoo 1 23:10:34 baidu 5 06:23:05 google 6 07:45:56 sohu
Spark RDD 练习题（一）
weixin_30642561的博客
06-21 1276
Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… （1） 该系总共有多少学生； scala> val rdd = sc.textFile("/testfile/chapter5-data1.t...
【spark】spark基础练习题（二）
最新发布
06-28
【Spark】Spark基础练习题（二）是一组用于练习Spark基础知识的题目。这些题目涵盖了Spark的常用操作，包括RDD的创建、转换和行动操作，以及Spark SQL的使用等。通过完成这些练习题，可以加深对Spark的理解和掌握，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值