sql练习50题 SparkRDD版本(含spark-shell 连接mysql方法)

最新推荐文章于 2021-08-10 22:36:59 发布
置顶 最新推荐文章于 2021-08-10 22:36:59 发布
阅读量369 收藏 5
点赞数
分类专栏： Spark 文章标签： Spark RDD sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43434273/article/details/110201278
版权

Spark-shell连接MySQL

  1. 将hive/conf里面的 hive-site.xml复制到spark/conf/
  2. 将hive/lib里面的mysql-connector-java-5.1.38.jar复制到spark/jars/
    需要重新启动spark-shell
  3. 读取MySQL文件，返回一个dataFrame
[root@hadoop001 software]# mysql -uroot -pok

mysql> create database school;
Query OK, 1 row affected (0.00 sec)

mysql> source /software/schoolmysql50Bak.sql

[root@hadoop001 sbin]# spark-shell

读取student表
scala> val studentDF=spark.read.format("jdbc").options(Map("url"->"jdbc:mysql://hadoop001:3306/school","driver"-> "com.mysql.jdbc.Driver","dbtable"->"school.Student","user"->"root","password"->"ok")).load() 

读取Score表
val scoreDF=spark.read.format("jdbc").options(Map("url"->"jdbc:mysql://hadoop001:3306/school","driver"->"com.mysql.jdbc.Driver","dbtable"->"school.Score","user"->"root","password"->"ok")).load

读取Teacher表
val teacherDF=spark.read.format("jdbc").options(Map("url"->"jdbc:mysql://hadoop001:3306/school","driver"->"com.mysql.jdbc.Driver","dbtable"->"school.Teacher","user"->"root","password"->"ok")).load

读取Course表
val courseDF=spark.read.format("jdbc").options(Map("url"->"jdbc:mysql://hadoop001:3306/school","driver"->"com.mysql.jdbc.Driver","dbtable"->"school.Course","user"->"root","password"->"ok")).load

1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数:
scala> scoreDF.as("s1").join(scoreDF.as("s2"),"s_id").filter("s1.c_id=1 and s2.c_id=2 and s1.s_score>s2.s_score").join(studentDF,"s_id").show
+----+----+-------+----+-------+------+----------+-----+
|s_id|c_id|s_score|c_id|s_score|s_name|   s_birth|s_sex|
+----+----+-------+----+-------+------+----------+-----+
|  02|  01|     70|  02|     60|  钱电|1990-12-21|   男|
|  04|  01|     50|  02|     30|  李云|1990-08-06|   男|
+----+----+-------+----+-------+------+----------+-----+

 
 
2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数:
scala> scoreDF.as("s1").join(scoreDF.as("s2"),"s_id").filter("s1.c_id=1 and s2.c_id=2 and s1.s_score<s2.s_score").join(studentDF,"s_id").show
+----+----+-------+----+-------+------+----------+-----+
|s_id|c_id|s_score|c_id|s_score|s_name|   s_birth|s_sex|
+----+----+-------+----+-------+------+----------+-----+
|  01|  01|     80|  02|     90|  赵雷|1990-01-01|   男|
|  05|  01|     76|  02|     87|  周梅|1991-12-01|   女|
+----+----+-------+----+-------+------+----------+-----+

 
 
3、查询平均成绩大于等于60 分的同学的学生编号和学生姓名和平均成绩:
scala> scoreDF.as("s1").groupBy("s_id").avg("s_score").join(studentDF.as("s2"),"s_id").filter($"avg(s_score)">=60).show
+----+-----------------+------+----------+-----+
|s_id|     avg(s_score)|s_name|   s_birth|s_sex|
+----+-----------------+------+----------+-----+
|  07|             93.5|  郑竹|1989-07-01|   女|
|  01|89.66666666666667|  赵雷|1990-01-01|   男|
|  05|             81.5|  周梅|1991-12-01|   女|
|  03|             80.0|  孙风|1990-05-20|   男|
|  02|             70.0|  钱电|1990-12-21|   男|
+----+-----------------+------+----------+-----+

4、查询平均成绩小于60 分的同学的学生编号和学生姓名和平均成绩(包括有成绩的和无成绩的):
scala> studentDF.as("s2")
.join((scoreDF.as("s1").groupBy("s_id").avg("s_score"))
.as("s3"),Seq("s_id"),"left_outer").as("s")
.withColumnRenamed("avg(s_score)","A").where((col("A")<60)||(col("A").isNull)).show
+----+------+----------+-----+------------------+
|s_id|s_name|   s_birth|s_sex|                 A|
+----+------+----------+-----+------------------+
|  08|  王菊|1990-01-20|   女|              null|
|  06|  吴兰|1992-03-01|   女|              32.5|
|  04|  李云|1990-08-06|   男|33.333333333333336|
+----+------+----------+-----+------------------+

5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩:
scala> studentDF.join(scoreDF.groupBy("s_id").count,
Seq("s_id"),"left_outer").join(scoreDF.groupBy("s_id").sum("s_score"),Seq("s_id"),"left_outer").show
+----+------+----------+-----+-----+------------+
|s_id|s_name|   s_birth|s_sex|count|sum(s_score)|
+----+------+----------+-----+-----+------------+
|  07|  郑竹|1989-07-01|   女|    2|         187|
|  01|  赵雷|1990-01-01|   男|    3|         269|
|  05|  周梅|1991-12-01|   女|    2|         163|
|  08|  王菊|1990-01-20|   女| null|        null|
|  03|  孙风|1990-05-20|   男|    3|         240|
|  02|  钱电|1990-12-21|   男|    3|         210|
|  06|  吴兰|1992-03-01|   女|    2|          65|
|  04|  李云|1990-08-06|   男|    3|         100|
+----+------+----------+-----+-----+------------+

6、查询"李"姓老师的数量:
scala> teacherDF.where("t_name like '李%'").select("t_id").count
scala> teacherDF.where("t_name like '李%'").select("t_id").count
res5: Long = 1

7、查询学过"张三"老师授课的同学的信息:
scoreDF.join(courseDF,"c_id").join(teacherDF,"t_id").filter("t_name='张三'").join(studentDF,"s_id").show

8、查询没学过"张三"老师授课的同学的信息:
scala> studentDF.join(scoreDF.join(courseDF,"c_id").join(teacherDF,"t_id"),Seq("s_id"),"left_outer").where("t_name!='张三' or t_name is null").show
+----+------+----------+-----+----+----+-------+------+------+
|s_id|s_name|   s_birth|s_sex|t_id|c_id|s_score|c_name|t_name|
+----+------+----------+-----+----+----+-------+------+------+
|  07|  郑竹|1989-07-01|   女|  03|  03|     98|  英语|  王五|
|  01|  赵雷|1990-01-01|   男|  03|  03|     99|  英语|  王五|
|  01|  赵雷|1990-01-01|   男|  02|  01|     80|  语文|  李四|
|  05|  周梅|1991-12-01|   女|  02|  01|     76|  语文|  李四|
|  08|  王菊|1990-01-20|   女|null|null|   null|  null|  null|
|  03|  孙风|1990-05-20|   男|  03|  03|     80|  英语|  王五|
|  03|  孙风|1990-05-20|   男|  02|  01|     80|  语文|  李四|
|  02|  钱电|1990-12-21|   男|  03|  03|     80|  英语|  王五|
|  02|  钱电|1990-12-21|   男|  02|  01|     70|  语文|  李四|
|  06|  吴兰|1992-03-01|   女|  03|  03|     34|  英语|  王五|
|  06|  吴兰|1992-03-01|   女|  02|  01|     31|  语文|  李四|
|  04|  李云|1990-08-06|   男|  03|  03|     20|  英语|  王五|
|  04|  李云|1990-08-06|   男|  02|  01|     50|  语文|  李四|
+----+------+----------+-----+----+----+-------+------+------+

9、查询学过编号为"01"并且也学过编号为"02"的课程的同学的信息:
scala> studentDF.join(scoreDF.filter("c_id=1"),"s_id").join(scoreDF.filter("c_id=2"),"s_id").show
+----+------+----------+-----+----+-------+----+-------+
|s_id|s_name|   s_birth|s_sex|c_id|s_score|c_id|s_score|
+----+------+----------+-----+----+-------+----+-------+
|  01|  赵雷|1990-01-01|   男|  01|     80|  02|     90|
|  05|  周梅|1991-12-01|   女|  01|     76|  02|     87|
|  03|  孙风|1990-05-20|   男|  01|     80|  02|     80|
|  02|  钱电|1990-12-21|   男|  01|     70|  02|     60|
|  04|  李云|1990-08-06|   男|  01|     50|  02|     30|
+----+------+----------+-----+----+-------+----+-------+

10、查询学过编号为"01"但是没有学过编号为"02"的课程的同学的信息:
scala> studentDF.join(scoreDF.where("c_id=2"),Seq("s_id"),"left_outer").as("s2").where("s2.c_id is null").join(scoreDF.where("c_id=1"),"s_id").show
+----+------+----------+-----+----+-------+----+-------+
|s_id|s_name|   s_birth|s_sex|c_id|s_score|c_id|s_score|
+----+------+----------+-----+----+-------+----+-------+
|  06|  吴兰|1992-03-01|   女|null|   null|  01|     31|
+----+------+----------+-----+----+-------+----+-------+
 
11、查询没有学全所有课程的同学的信息:
scala> studentDF.join(scoreDF.groupBy("s_id").count.as("s1"),Seq("s_id"),"left_outer").where("s1.count<3 or s1.count is null").show
+----+------+----------+-----+-----+
|s_id|s_name|   s_birth|s_sex|count|
+----+------+----------+-----+-----+
|  07|  郑竹|1989-07-01|   女|    2|
|  05|  周梅|1991-12-01|   女|    2|
|  08|  王菊|1990-01-20|   女| null|
|  06|  吴兰|1992-03-01|   女|    2|
+----+------+----------+-----+-----+

12、查询至少有一门课与学号为"01"的同学所学相同的同学的信息:
scala> studentDF.join(scoreDF,"s_id").as("a").join(scoreDF.select("c_id").where("s_id=1").as("b"),"c_id").as("c").select("s_id").distinct.where("s_id!=1").join(studentDF,"s_id").show
+----+------+----------+-----+
|s_id|s_name|   s_birth|s_sex|
+----+------+----------+-----+
|  07|  郑竹|1989-07-01|   女|
|  05|  周梅|1991-12-01|   女|
|  03|  孙风|1990-05-20|   男|
|  02|  钱电|1990-12-21|   男|
|  06|  吴兰|1992-03-01|   女|
|  04|  李云|1990-08-06|   男|
+----+------+----------+-----+

13、查询和"01"号的同学学习的课程完全相同的其他同学的信息:
scala> studentDF.join(scoreDF,"s_id").as("a").join(scoreDF.where("s_id=1").as("b"),"c_id").groupBy("a.s_id").count.where(s"count=${scoreDF.where("s_id=1").count} and a.s_id!=1").join(studentDF,"s_id").show
+----+-----+------+----------+-----+
|s_id|count|s_name|   s_birth|s_sex|
+----+-----+------+----------+-----+
|  03|    3|  孙风|1990-05-20|   男|
|  02|    3|  钱电|1990-12-21|   男|
|  04|    3|  李云|1990-08-06|   男|
+----+-----+------+----------+-----+

14、查询没学过"张三"老师讲授的任一门课程的学生姓名:
scala> studentDF.join(scoreDF,"s_id").join(courseDF,"c_id").join(teacherDF.where("t_name='张三'"),"t_id").as("a").select("s_id").join(studentDF.as("b"),Seq("s_id"),"right_outer").where("a.s_id is null").select("s_name").show
+------+
|s_name|
+------+
|  王菊|
|  吴兰|
+------+

15、查询两门及其以上不及格课程的同学的学号，姓名及其平均成绩:
scala> scoreDF.where("s_score<60").groupBy("s_id").count.where("count>=2").join(scoreDF,"s_id").groupBy("s_id").avg("s_score").join(studentDF,"s_id").show
+----+------------------+------+----------+-----+
|s_id|      avg(s_score)|s_name|   s_birth|s_sex|
+----+------------------+------+----------+-----+
|  06|              32.5|  吴兰|1992-03-01|   女|
|  04|33.333333333333336|  李云|1990-08-06|   男|
+----+------------------+------+----------+-----+

16、检索"01"课程分数小于60，按分数降序排列的学生信息:
scala> scoreDF.where("c_id=1").join(studentDF,Seq("s_id"),"right_outer").where("s_score<60 or s_score is null").orderBy($"s_score".desc).show
+----+----+-------+------+----------+-----+
|s_id|c_id|s_score|s_name|   s_birth|s_sex|
+----+----+-------+------+----------+-----+
|  04|  01|     50|  李云|1990-08-06|   男|
|  06|  01|     31|  吴兰|1992-03-01|   女|
|  07|null|   null|  郑竹|1989-07-01|   女|
|  08|null|   null|  王菊|1990-01-20|   女|
+----+----+-------+------+----------+-----+

17、按平均成绩从高到低显示所有学生的所有课程的成绩以及平均成绩:
scala> studentDF.join(scoreDF,Seq("s_id"),"left_outer").groupBy("s_id").avg("s_score").join(studentDF.join(scoreDF,"s_id"),Seq("s_id"),"left_outer").orderBy($"avg(s_score)".desc).show
+----+------------------+------+----------+-----+----+-------+
|s_id|      avg(s_score)|s_name|   s_birth|s_sex|c_id|s_score|
+----+------------------+------+----------+-----+----+-------+
|  07|              93.5|  郑竹|1989-07-01|   女|  02|     89|
|  07|              93.5|  郑竹|1989-07-01|   女|  03|     98|
|  01| 89.66666666666667|  赵雷|1990-01-01|   男|  02|     90|
|  01| 89.66666666666667|  赵雷|1990-01-01|   男|  03|     99|
|  01| 89.66666666666667|  赵雷|1990-01-01|   男|  01|     80|
|  05|              81.5|  周梅|1991-12-01|   女|  01|     76|
|  05|              81.5|  周梅|1991-12-01|   女|  02|     87|
|  03|              80.0|  孙风|1990-05-20|   男|  02|     80|
|  03|              80.0|  孙风|1990-05-20|   男|  01|     80|
|  03|              80.0|  孙风|1990-05-20|   男|  03|     80|
|  02|              70.0|  钱电|1990-12-21|   男|  02|     60|
|  02|              70.0|  钱电|1990-12-21|   男|  01|     70|
|  02|              70.0|  钱电|1990-12-21|   男|  03|     80|
|  04|33.333333333333336|  李云|1990-08-06|   男|  01|     50|
|  04|33.333333333333336|  李云|1990-08-06|   男|  02|     30|
|  04|33.333333333333336|  李云|1990-08-06|   男|  03|     20|
|  06|              32.5|  吴兰|1992-03-01|   女|  01|     31|
|  06|              32.5|  吴兰|1992-03-01|   女|  03|     34|
|  08|              null|  null|      null| null|null|   null|
+----+------------------+------+----------+-----+----+-------+

18、查询各科成绩最高分、最低分和平均分：以如下形式显示：课程ID，课程name
，最高分，最低分，平均分，及格率，中等率，优良率，优秀率:



19、按各科成绩进行排序，并显示排名:


20、查询学生的总成绩并进行排名:
scala> studentDF.join(scoreDF,"s_id").groupBy("s_id").sum("s_score").orderBy($"sum(s_score)".desc).show
+----+------------+
|s_id|sum(s_score)|
+----+------------+
|  01|         269|
|  03|         240|
|  02|         210|
|  07|         187|
|  05|         163|
|  04|         100|
|  06|          65|
+----+------------+

21、查询不同老师所教不同课程平均分从高到低显示:
scala> scoreDF.join(courseDF,"c_id").join(teacherDF,"t_id").groupBy("t_id","c_id").avg("s_score").orderBy($"avg(s_score)".desc).show
+----+----+-----------------+
|t_id|c_id|     avg(s_score)|
+----+----+-----------------+
|  01|  02|72.66666666666667|
|  03|  03|             68.5|
|  02|  01|             64.5|
+----+----+-----------------+

22、查询所有课程的成绩第2 名到第3 名的学生信息及该课程成绩:
scala> scoreDF.selectExpr("*","row_number() over(partition by c_id order by s_score desc) rank").where("rank between 2 and 3").join(studentDF,"s_id").show
+----+----+-------+----+------+----------+-----+
|s_id|c_id|s_score|rank|s_name|   s_birth|s_sex|
+----+----+-------+----+------+----------+-----+
|  07|  03|     98|   2|  郑竹|1989-07-01|   女|
|  07|  02|     89|   2|  郑竹|1989-07-01|   女|
|  05|  01|     76|   3|  周梅|1991-12-01|   女|
|  05|  02|     87|   3|  周梅|1991-12-01|   女|
|  03|  01|     80|   2|  孙风|1990-05-20|   男|
|  02|  03|     80|   3|  钱电|1990-12-21|   男|
+----+----+-------+----+------+----------+-----+

23、统计各科成绩各分数段人数：课程编号,课程名称,[100-85],[85-70],[70-60],[0-60]及所占百分比:

24、查询学生平均成绩及其名次:
scala> scoreDF.groupBy("s_id").avg("s_score").selectExpr("*",s"row_number() over(order by 'avg(s_score)' desc) as rank").show
+----+------------------+----+
|s_id|      avg(s_score)|rank|
+----+------------------+----+
|  07|              93.5|   1|
|  01| 89.66666666666667|   2|
|  05|              81.5|   3|
|  03|              80.0|   4|
|  02|              70.0|   5|
|  06|              32.5|   6|
|  04|33.333333333333336|   7|
+----+------------------+----+

 
25、查询各科成绩前三名的记录
scala> scoreDF.selectExpr("*","row_number() over(partition by c_id order by s_score desc) rank").where("rank<=3").show
+----+----+-------+----+
|s_id|c_id|s_score|rank|
+----+----+-------+----+
|  01|  01|     80|   1|
|  03|  01|     80|   2|
|  05|  01|     76|   3|
|  01|  03|     99|   1|
|  07|  03|     98|   2|
|  02|  03|     80|   3|
|  01|  02|     90|   1|
|  07|  02|     89|   2|
|  05|  02|     87|   3|
+----+----+-------+----+

26、查询每门课程被选修的学生数:
scala> scoreDF.groupBy("c_id").count.show
+----+-----+
|c_id|count|
+----+-----+
|  01|    6|
|  03|    6|
|  02|    6|
+----+-----+
 
27、查询出只有两门课程的全部学生的学号和姓名:
scala> scoreDF.groupBy("s_id").count.where("count=2").join(studentDF,"s_id").show
+----+-----+------+----------+-----+
|s_id|count|s_name|   s_birth|s_sex|
+----+-----+------+----------+-----+
|  07|    2|  郑竹|1989-07-01|   女|
|  05|    2|  周梅|1991-12-01|   女|
|  06|    2|  吴兰|1992-03-01|   女|
+----+-----+------+----------+-----+

28、查询男生、女生人数:
studentDF.groupBy("s_sex").count.show
+-----+-----+
|s_sex|count|
+-----+-----+
|   男|    4|
|   女|    4|
+-----+-----+


29、查询名字中含有"风"字的学生信息:
studentDF.select("s_name like '%风%'").show
+----+------+----------+-----+
|s_id|s_name|   s_birth|s_sex|
+----+------+----------+-----+
|  03|  孙风|1990-05-20|   男|
+----+------+----------+-----+


30、查询同名同性学生名单，并统计同名人数:
studentDF.groupBy("s_name").count.where("count>1").show
+------+-----+
|s_name|count|
+------+-----+
+------+-----+

31、查询1990年出生的学生名单:
studentDF.where("year(s_birth)=1990").show
+----+------+----------+-----+
|s_id|s_name|   s_birth|s_sex|
+----+------+----------+-----+
|  01|  赵雷|1990-01-01|   男|
|  02|  钱电|1990-12-21|   男|
|  03|  孙风|1990-05-20|   男|
|  04|  李云|1990-08-06|   男|
|  08|  王菊|1990-01-20|   女|
+----+------+----------+-----+

32、查询每门课程的平均成绩，结果按平均成绩降序排列，平均成绩相同时，按课程编号升序排列:
scoreDF.groupBy("c_id").avg("s_score")
Bright Huang
关注
专栏目录
spark sql的练习题
汉子一枚
04-18 3384
1、使用Structured Streaming读取Socket数据，把单词和单词的反转组成 json 格式写入到当前目录中的file文件夹中 2、请使用Structured Streaming读取student_info文件夹写的csv文件， 2.1、统计出文件中的男女生各有多少人 2.2、统计出姓“王”男生和女生的各有多少人 3、请使用Structured Streaming读取departm...
Spark SQL练习
zhz的博客
06-02 3456
Spark SQL 实验目的 1.理解Spark SQL工作原理； 2.掌握Spark SQL使用方法。 实验内容 ​ 现有一份汽车销售记录（文件名：Cars.csv），销售记录包括时间、地点、邮政编码、车辆类型等信息，每条记录信息包含39项数据项。按步骤完成如下操作（建议在Spark-shell中完成）： ​ （1）将汽车销售记录上传至HDFS； ​ （2）使用编程方式定义RDD模式，提取月、市、区县、品牌、车辆类型、使用性质和数量7列，并定义相应Schema； ​ （3）将（2）的结果以json格式保
spark练习题
afei2530的博客
09-07 490
site1,user1,2016-11-20 02:12:22 site1,user2,2016-11-28 04:12:22 site1,user3,2016-11-20 11:12:22 site1,user3,2016-11-23 11:12:22 site2,user4,2016-11-20 15:12:22 site3,user5,2016-11-29 08:12...
Spark SQL 练习
程序员学习圈
01-10 1356
1.数据说明(数据集是货品交易数据集)      每个订单可能包含多个货品，每个订单可以产生多次交易，不同的货品有不同的单价。     2.需求说明：     • 计算所有订单中每年的销售单数、销售总额     • 计算所有订单每年最大金额订单的销售额     • 计算所有订单中每年最畅销货品 3.具体实现 import org.apache.spark.SparkCon...
spark:SparkSQL练习--51
花满楼
06-26 920
package llf import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkContext, SparkConf} import scala.collection.mutable.ListBuffer /** * Create
spark+shell连接mysql_spark SQL学习（spark连接 mysql）
weixin_29677553的博客
01-19 726
spark连接mysql(打jar包方式)package wujiadong_sparkSQLimport java.util.Propertiesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}/*** Created by Administrator on 2017/2...
spark考试练习题含答案.rar
06-22
这份资料包含两部分：《spark练习题含答案01.docx》和《spark练习题含答案02.docx》，旨在通过实践的方式提升对Spark技术的运用能力。 一、Spark基础篇 Spark的基础部分主要涉及以下几个关键概念： 1. **RDD...
sparkshell 操作hive表_Spark-shell和Spark-hive的使用
weixin_36198509的博客
02-22 1242
使用命令开启一个spark-shell：./spark-shell --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar因为我们要操作hive，因此需要添加mysql的driver类。查看表使用命令spark.sql("show tables").show 查看表数据 比较spark-shell...
spark-shell与spark-sql的访问hive
H_hanwen的博客
11-22 2522
1.spark-shell的使用： 安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
qq_44884269的博客
04-18 1039
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
spark考试（练习题）编程！
06-13
spark考试（练习题）编程！
spark基础知识整理
01-02
spark基础知识思维导图整理，包括SparkCore和SparkSQL
Spark（三）-- SparkSQL项目练习
happy-vicky的博客
10-21 1128
导读 本项目是 SparkSQL 阶段的练习项目, 主要目的是夯实同学们对于 SparkSQL 的理解和使用 数据集 2013年纽约市出租车乘车记录 需求 统计出租车利用率, 到某个目的地后, 出租车等待下一个客人的间隔 1.项目说明 现在有2013年纽约市出租车乘车记录表，表中字段如下： 字段 示例 示意 hack_license ...
7道RDD编程练习题
Python_Ai_Road的博客
12-29 2723
公众号后台回复关键字：pyspark，获取本项目github地址。为强化RDD编程API的使用经验，现提供一些小练习题。读者可以使用RDD的编程API完成这些小练习题，并输出结果。这些练...
mysql练习_经典的SparkSQL/HiveSQL/MySQL面试练习题
weixin_39610722的博客
11-20 334
第一题需求：已知一个表order，有如下字段:date_time，order_id，user_id，amount。数据样例:2020-10-10,1003003981,00000001,1000，请用sql进行统计:(1)2019年每个月的订单数、用户数、总成交金额。(2)2020年10月的新客数(指在2020年10月才有第一笔订单)实现：(1)SELECT t1.year_month,...
Spark SQL两道超经典练习题！必会！
m0_59737088的博客
08-10 1718
Spark SQL 练习题 题目1：有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，请统计： 1）每个店铺的UV（访客数） 2）每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数 数据参考：jd_visit.log文件 u1 a u2 b u1 b u1 a u3 c u4 b u1 a u2 c u5 b u4 b u6 c u2 c u1 b u2 a u
SparkSQL 练习项目 - 出租车利用率分析
wz_TXWY的博客
09-27 1671
SparkSQL 练习项目 - 出租车利用率分析 SparkSQL 练习项目 - 出租车利用率分析 Table of Contents 1. 业务 2. 流程分析 3. 数据读取 5. 数据清洗 6. 行政区信息 6.1. 需求介绍 6.2. 工具介绍 6.3. 具体实现 7. 会话统计 导读 本项目是 SparkSQL 阶段的练习项目, 主要目的...
经典的SparkSQL/Hive-SQL/MySQL面试-练习题（一）
大数据学习与分享的博客
09-30 681
第一题 需求： 已知一个表order，有如下字段:date_time，order_id，user_id，amount。 数据样例:2020-10-10,1003003981,00000001,1000，请用sql进行统计: (1)2019年每个月的订单数、用户数、总成交金额。 (2)2020年10月的新客数(指在2020年10月才有第一笔订单) 实现： (1) SELECT t1.year_month, count(t1.order_id) AS order_cnt, count(DISTINCT t1.
Spark SQL ：日志分析实战练习
Zeroowt的博客
03-11 702
从网上找到SparkSql分析慕课网日志数据的视频，用其中的数据巩固复习上个星期学的Spark知识； 1.需求和数据描述 需求很简单，就是根据日志数据从地市、流量、点击数三个方面求一系列topN。 原始数据： 提取我们需要的字段：1.ip ； 2.时间+市区 ；3.流量（状态码后面的）；4.页面发送的URL； 183.162.52.7 - - [10/Nov/2016:00:01:02 +0800...
Spark SQL教程：无密码读取数据库并设置中文支持
本教程详细介绍了如何使用Apache Spark SQL与MySQL数据库进行交互，包括安装、配置和操作步骤。首先，我们概述了安装MySQL的基本步骤，通过`apt-get`命令更新软件源并安装MySQL服务器。对于MySQL服务的管理，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值