Spark SQL

已于 2022-05-10 19:23:31 修改
阅读量1.9k 收藏 12
点赞数 3
分类专栏： educoder-scala 文章标签： spark sql big data
于 2022-05-01 00:00:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuygioj/article/details/124521302
版权

一、目的

RDD转换为DataFrame实现文本文件数据源读取

二、题目要求

本关任务：本关主题是通过读取外部数据源文本文件生成DataFrame，并利用DataFrame对象的常用Transformation操作和Action操作实现功能。已知学生信息（student）、教师信息（teacher）、**课程信息（course）****和成绩信息（score）**如下图所示，通过Spark SQL对这些信息进行查询，分别得到需要的结果。

学生信息student.txt如下所示。

108,ZhangSan,male,1995/9/1,95033  
105,KangWeiWei,female,1996/6/1,95031  
107,GuiGui,male,1992/5/5,95033  
101,WangFeng,male,1993/8/8,95031  
106,LiuBing,female,1996/5/20,95033  
109,DuBingYan,male,1995/5/21,95031

教师信息teacher.txt如下所示。

825,LinYu,male,1958,Associate professor,department of computer  
804,DuMei,female,1962,Assistant professor,computer science department  
888,RenLi,male,1972,Lecturer,department of electronic engneering  
852,GongMOMO,female,1986,Associate professor,computer science department  
864,DuanMu,male,1985,Assistant professor,department of computer

课程信息course.txt如下所示。

3-105,Introduction to computer,825  
3-245,The operating system,804  
6-101,Spark SQL,888  
6-102,Spark,852  
9-106,Scala,864

成绩信息score.txt如下所示。

108,3-105,99  
105,3-105,88  
107,3-105,77

三、代码

package org.apache.spark
import org.apache.spark.sql.{Row, SparkSession,DataFrame}
import org.apache.spark.sql.types._
import scala.collection.mutable
import java.text.SimpleDateFormat
object test {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession
            .builder()
            .master("local")
            .appName("test")
            .config("spark.sql.shuffle.partitions", "5")
            .getOrCreate()
/** ************************ student表结构******************/
        import spark.implicits._
        val studentRDD = spark.sparkContext.textFile(
"C:\\Users\\11359\\IdeaProjects\\untitled7\\educodersqldf\\student.txt")
        //创建表结构（学号，学生姓名，学生性别，学生出生年月，学生所在班级）
        val schemaString = "Sno Sname Ssex Sbirthday SClass"
        val fields = schemaString.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
        val schema = StructType(fields)
        val rowRDD = studentRDD.map(_.split(","))
        						.map(elements => Row(elements(0),elements(1).trim,elements(2),elements(3),elements(4)))
        //转换为DataFrame
        val stuDF = spark.createDataFrame(rowRDD,schema)
        //生成临时表
        stuDF.createTempView("students")
 /** ************************ teacher表结构************************/
        val teacherRDD = spark.sparkContext.textFile("C:\\Users\\11359\\IdeaProjects\\untitled7\\educodersqldf\\teacher.txt")
        //创建表结构（教工编号（主键），教工姓名，教工性别，教工出生年份，职称，教工所在部门）
        val schemaString1 = "Tno Tname Tsex Tyear Prof Depart"
        val fields1 = schemaString1.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
        val schema1 = StructType(fields1)
        val rowRDD1 = teacherRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2),elements(3),elements(4),elements(5)))
        //转换为DataFrame
        val teaDF = spark.createDataFrame(rowRDD1,schema1)
        //生成临时表
        teaDF.createTempView("teachers")
 /** ************************ course表结构*****************************/
        val courseRDD = spark.sparkContext.textFile("C:\\Users\\11359\\IdeaProjects\\untitled7\\educodersqldf\\course.txt")
        //创建表结构（课程号，课程名称，教工编号）
        val schemaString2 = "Cno Cname Tno"
        val fields2 = schemaString2.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
        val schema2 = StructType(fields2)
        val rowRDD2 = courseRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2)))
        //转换为DataFrame
        val clasDF = spark.createDataFrame(rowRDD2,schema2)
        //生成临时表
        clasDF.createTempView("classes")
 /** ************************ score表结构*****************************/
        val scoreRDD = spark.sparkContext.textFile("C:\\Users\\11359\\IdeaProjects\\untitled7\\educodersqldf\\score.txt")
        //创建表结构（学号（外键），课程号（外键），成绩）
        val Scoreschema:StructType=StructType(mutable.ArraySeq(
            StructField("Sno",StringType,false),
            StructField("Cno",StringType,false),
            StructField("Degree",IntegerType,true)
        ))
        val rowRDD3=scoreRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2).toInt))
        //转换为DataFrame
        val scoreDF = spark.createDataFrame(rowRDD3,Scoreschema)
        //生成临时表
        scoreDF.createTempView("score")
        /** ************************对各表的处理*****************************/
        //按照班级排序显示所有学生信息
        spark.sql("SELECT * from students order by SClass").show()
        //查询“计算机系”与“电子工程系“不同职称的教师的Tname和Prof。
        spark.sql("SELECT Tname AS tname,Prof AS prof " +
            "FROM teachers " +
            "WHERE prof NOT IN (SELECT a.prof " +
            "FROM (select Prof " +
            "from teachers " +
            "where Depart='department of computer'" +
            ")a " +
            "join(select Prof " +
            "from teachers " +
            "where Depart='department of electronic engneering'" +
            ")b on a.Prof=b.Prof) order by Tname").show()

        //显示性别为nv的教师信息
        spark.sql("SELECT * from teachers where Tsex='female'").show()


        //显示不重复的教师部门信息
        spark.sql("SELECT DISTINCT Depart from teachers").show()


        //显示最高成绩
        spark.sql("SELECT max(Degree) from score").show()


        //按照班级排序显示每个班级的平均成绩
        spark.sql("SELECT Cno,avg(Degree) from score group by Cno order by Cno").show()
    }
}


import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.types._
import scala.collection.mutable
import java.text.SimpleDateFormat

object sparkSQL01{
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("AvgScore").setMaster("local")
    val spark = SparkSession
      .builder()
      .master("local")
      .appName("sparkSQL01")
      .config("spark.sql.shuffle.partitions", "5")
      .getOrCreate()

    /** ************************ student表结构*****************************/
    import spark.implicits._
    val studentRDD = spark.sparkContext.textFile("data/student.txt")
   //创建表结构（学号，学生姓名，学生性别，学生出生年月，学生所在班级）
    val schemaString = "Sno Sname Ssex Sbirthday SClass"
    val fields = schemaString.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
    val schema = StructType(fields)
    val rowRDD = studentRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2),elements(3),elements(4)))
    
    
   
   
   //转换为DataFrame
    val stuDF = spark.createDataFrame(rowRDD,schema) 
   
   //生成临时表
    stuDF.createOrRepalceTempView("students") 

    /** ************************ teacher表结构*****************************/
    val teacherRDD = spark.sparkContext.textFile("data//teacher.txt")
	 //创建表结构（教工编号（主键），教工姓名，教工性别，教工出生年份，职称，教工所在部门）
    val schemaString1 = "Tno Tname Tsex Tyear Prof Depart"
    val fields1 = schemaString1.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
    val schema1 = StructType(fields1)
    val rowRDD1 = teacherRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2),elements(3),elements(4),elements(5)))
   
   
   
   
   //转换为DataFrame
   val teaDF = spark.createDataFrame(rowRDD1,schema1) 
   
   //生成临时表
    teaDF.createOrRepalceTempView("teachers")   
    /** ************************ course表结构*****************************/
    val courseRDD = spark.sparkContext.textFile("data//course.txt")
	//创建表结构（课程号，课程名称，教工编号）
    val schemaString2 = "Cno Cname Tno"
    val fields2 = schemaString2.split(" ").map(fieldName => StructField(fieldName,StringType,nullable = false))
    val schema2 = StructType(fields2)
    val rowRDD2 = classRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2)))
   
   
   
   
   //转换为DataFrame
    val clasDF = spark.createDataFrame(rowRDD2,schema2) 
   
   //生成临时表
    clasDF.createOrRepalceTempView("classes")   
   

    /** ************************ score表结构*****************************/
    val scoreRDD = spark.sparkContext.textFile("data//score.txt")
	//创建表结构（学号（外键），课程号（外键），成绩）
        val Scoreschema:StructType=StructType(mutable.ArraySeq(
            StructField("Sno",StringType,false),
            StructField("Cno",StringType,false),
            StructField("Degree",IntegerType,true)
        ))



        val rowRDD3=scoreRDD.map(_.split(",")).map(elements => Row(elements(0),elements(1).trim,elements(2).toInt))




        //转换为DataFrame
        val scoreDF = spark.createDataFrame(rowRDD3,Scoreschema)

        //生成临时表
        scoreDF.createTempView("score")
   
   

	
	
	
    /** ************************对各表的处理*****************************/

        //按照班级排序显示所有学生信息
        spark.sql("SELECT * from students order by SClass").show()


        //查询“计算机系”与“电子工程系“不同职称的教师的Tname和Prof。
        spark.sql("SELECT Tname AS tname,Prof AS prof " +
            "FROM teachers " +
            "WHERE prof NOT IN (SELECT a.prof " +
            "FROM (select Prof " +
            "from teachers " +
            "where Depart='department of computer'" +
            ")a " +
            "join(select Prof " +
            "from teachers " +
            "where Depart='department of electronic engneering'" +
            ")b on a.Prof=b.Prof) order by Tname").show()


        //显示性别为nv的教师信息
        spark.sql("SELECT * from teachers where Tsex='female'").show()


        //显示不重复的教师部门信息
        spark.sql("SELECT DISTINCT Depart from teachers").show()


        //显示最高成绩
        spark.sql("SELECT MAX(Degree) from score").show()


        //按照班级排序显示每个班级的平均成绩
        spark.sql("SELECT Cno,avg(Degree) from score group by Cno order by Cno").show()



  }


}




import org.apache.spark.sql.{Row, SparkSession}  
import org.apache.spark.sql.types._  
import scala.collection.mutable  
import java.text.SimpleDateFormat
object sparkSQL01 {  
  def main(args: Array[String]): Unit = {  
    val spark = SparkSession  
      .builder()  
      .master("local")  
      .appName("test")  
      .config("spark.sql.shuffle.partitions", "5")  
      .getOrCreate()
    /** ************************ student表结构*****************************/  
    val studentRDD = spark.sparkContext.textFile("data/student.txt")  
    val StudentSchema: StructType = StructType(mutable.ArraySeq(  //学生表  
      StructField("Sno", StringType, nullable = false),           //学号  
      StructField("Sname", StringType, nullable = false),         //学生姓名  
      StructField("Ssex", StringType, nullable = false),          //学生性别  
      StructField("Sbirthday", StringType, nullable = true),      //学生出生年月  
      StructField("SClass", StringType, nullable = true)          //学生所在班级  
    ))  
    val studentData = studentRDD.map(_.split(",")).map(attributes => Row(attributes(0),attributes(1),attributes(2),attributes(3),attributes(4)))  
    val studentDF = spark.createDataFrame(studentData,StudentSchema)  
    studentDF.createOrReplaceTempView("student")
    /** ************************ teacher表结构*****************************/  
    val teacherRDD = spark.sparkContext.textFile("data/teacher.txt")  
    val TeacherSchema: StructType = StructType(mutable.ArraySeq(  //教师表  
      StructField("Tno", StringType, nullable = false),           //教工编号（主键）  
      StructField("Tname", StringType, nullable = false),         //教工姓名  
      StructField("Tsex", StringType, nullable = false),          //教工性别  
      StructField("Tyear", IntegerType, nullable = true),      //教工出生年月  
      StructField("Prof", StringType, nullable = true),           //职称  
      StructField("Depart", StringType, nullable = false)         //教工所在部门  
    ))  
    val teacherData = teacherRDD.map(_.split(",")).map(attributes => Row(attributes(0),attributes(1),attributes(2),attributes(3).toInt,attributes(4),attributes(5)))  
    val teacherDF = spark.createDataFrame(teacherData,TeacherSchema)  
    teacherDF.createOrReplaceTempView("teacher")
    /** ************************ course表结构*****************************/  
    val courseRDD = spark.sparkContext.textFile("data/course.txt")  
    val CourseSchema: StructType = StructType(mutable.ArraySeq(   //课程表  
      StructField("Cno", StringType, nullable = false),           //课程号  
      StructField("Cname", StringType, nullable = false),         //课程名称  
      StructField("Tno", StringType, nullable = false)            //教工编号  
    ))  
    val courseData = courseRDD.map(_.split(",")).map(attributes => Row(attributes(0),attributes(1),attributes(2)))  
    val courseDF = spark.createDataFrame(courseData,CourseSchema)  
    courseDF.createOrReplaceTempView("course")
    /** ************************ score表结构*****************************/  
    val scoreRDD = spark.sparkContext.textFile("data/score.txt")  
    val ScoreSchema: StructType = StructType(mutable.ArraySeq(    //成绩表  
      StructField("Sno", StringType, nullable = false),           //学号（外键）  
      StructField("Cno", StringType, nullable = false),           //课程号（外键）  
      StructField("Degree", IntegerType, nullable = true)         //成绩  
    ))  
    val scoreData = scoreRDD.map(_.split(",")).map(attributes => Row(attributes(0),attributes(1),attributes(2).toInt))  
    val scoreDF = spark.createDataFrame(scoreData,ScoreSchema)  
    scoreDF.createOrReplaceTempView("score")
    /** ************************对各表的处理*****************************/  
    //按照班级排序显示所有学生信息  
    spark.sql("SELECT * FROM student ORDER BY Sno").show()
//    查询“计算机系”与“电子工程系“不同职称的教师的Tname和Prof。  
    spark.sql("SELECT tname, prof " +  
      "FROM Teacher " +  
      "WHERE prof NOT IN (SELECT a.prof " +  
      "FROM (SELECT prof " +  
      "FROM Teacher " +  
      "WHERE depart = 'department of computer' " +  
      ") a " +  
      "JOIN (SELECT prof " +  
      "FROM Teacher " +  
      "WHERE depart = 'department of electronic engineering' " +  
      ") b ON a.prof = b.prof) ").orderBy("tname").show(false)
    //显示性别为nv的教师信息  
    teacherDF.filter("Tsex = 'female'").show(false)
    //显示不重复的教师部门信息  
    teacherDF.select("Depart").distinct().show(false)
    val maxsc = scoreDF.agg("Degree"->"max").show()
    val meansc = scoreDF.groupBy("Cno").agg("Degree"->"mean").orderBy("Cno").show()  
    //    meansc.write.format("json").save("mean.json")
  }
}
Pisces_DYL
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark SQL Introduction
07-01
关于spark sql的英文讲义，通过讲义的学习，可以对spark sql有一定的了解
spark sql解析-源码分析
03-16
spark-sql解析-源码分析
Spark SQL 实验
08-27
Spark SQL 详细介绍 实验介绍 有需要的尽快下载吧
Learning Spark SQL epub
10-06
Learning Spark SQL 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Learning Spark SQL
04-23
Design, implement, and deliver successful streaming applications, machine learning pipelines and graph applications using Spark SQL API
【数据仓库】Spark SQL-RDD转换为DataFrame实现文本文件数据源读取
Ddds的博客
06-05 1476
Spark SQL-RDD转换为DataFrame实现文本文件数据源读取
sparkSQL RDD转换成DataFrame并读取数据
a3125504x的博客
09-14 1551
RDD转换成DataFrame并读取数据利用反射机制通过StructType动态指定Schemapom依赖 利用反射机制 应用场景：在开发代码之前，可以事先确定好DataFrame的schema信息，通过反射机制后期直接映射成DataFrame的schema信息 要点 需要事先定义一个样例类，参数与schema信息一致 需要手动导入隐式转换，注意导入对象要与前面定义的sparkSession对象名称一致 代码示例 import org.apache.spark.SparkContext import o
RDD转换为DataFrame
Dillon2015的博客
03-29 7698
RDD转换为DataFrame今天在使用spark处理movielens数据集时，由于要在数据集中添加一列，所以不能直接读取数据集生成DataFrame,需要在生成DataFrame之前预处理一下数据集添加一列。所以我就以RDD的方式读入数据，并作相应处理，处理后需要将RDD转换为DataFrame以方便使用ml的API。 将RDD转换为DataFrame有两种方式： 利用java的反射机制。利用
Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20
啊策策大数据社区
09-21 2734
1. 读取文本文件创建DataFrame
Spark SQL操作大全.zip
03-24
Spark SQL操作大全.zip
RDD转换得到DataFrame
dqz_nihao的博客
06-03 1521
RDD转换得到DataFrame RDD转换得到DataFrame RDD转换得到DataFrame有两种模式：利用反射机制推断RDD模式，利用编程方式定义RDD模式。 1.利用反射机制推断RDD模式 利用反射机制推断RDD模式时，首先需要定义一个case class。 因为只有case class 才能被spark隐式转换为DataFrame。 .map(_.split(",")) “Michael，29” 就转成了Array(“MIchael”,29) .map(attributes=&gt
构造函数 —— 学生信息类
Shiwuwaige的博客
03-23 2660
在右侧编辑器中的Begin-End之间补充代码，编写一个学生类 Student，类中含有两个成员变量、两个构造函数和一个析构函数（访问性都为公有的），平台会调用你编写的函数来创建学生对象，具体要求如下： 学号：int SID 姓名：string Name 无参的构造函数：Student()，在函数中将学号初始化为0，姓名初始化为王小明。 带两个参数的构造函数：Student(int sid,string name);，在函数中分别用这两个参数设置内部的两个成员。
Spark DF:关于Row中的数值获取问题
自渡
10-08 3394
//json文件 //{"page_id":"87","pay_category_ids":"99","pay_product_ids":"96","city_id":5} //{"pay_category_ids":"74","city_id":0} val df = sparkSession.read.json("./src/data/test") df.show() df.rdd.foreach(row => { println("getAs: "+row.getAs[String].
头歌--Java高级之面向对象（上）
m0_56638814的博客
04-10 6186
头歌实践教学--Java高级之面向对象（上）
Spark SQL程序实现RDD转换DataFrame（一）
Running_Tiger的博客
03-11 538
通过反射推断Schema在Spark SQL中有两种方式可以在DataFrame和RDD进行转换 利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于提前知道RDD的schema。 通过编程接口与RDD进行交互获取schema，并动态创建DataFrame，在运行时决定列及其类型。 1、创建maven工程添加依赖 <properties>
通过编程方式将RDD转换成DataFrame
大唐帝国—前营
10-28 2255
package SparkSQLDemo import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.{SparkConf, Spark
SparkSQL数据读取 简单操作使用 DataFrames相关操作
sixgold的博客
04-16 355
目录一 认识SparkSQL1.1 什么是SparkSQL1.2 SparkSQL的作用1.3 运行原理1.4 特点1.5 SparkSession1.6 DataFrames二 RDD转换为Dataframe方式一：通过 case class 创建 DataFrames（反射）方式二：通过 structType 创建 DataFrames（编程接口）方式三：通过 json 文件创建 DataF...
spark sql
最新发布
07-29
Spark SQL是Apache Spark中的一个模块，它提供了在分布式数据处理中进行结构化数据处理和分析的功能。它支持使用SQL查询、DataFrame和Dataset API进行数据操作。 Spark SQL可以用于读取和写入多种数据源，包括Parquet、Avro、JSON、CSV等。它还提供了对Hive表的支持，可以通过Hive元数据访问已存在的Hive表。 使用Spark SQL，你可以执行SQL查询来处理大规模的结构化数据。它还提供了优化器和执行引擎，可以针对查询进行优化，以提高查询性能。 除了SQL查询之外，Spark SQL还提供了DataFrame和Dataset API，这些API提供了更灵活的编程方式来处理和操作数据。DataFrame是一种以命名列组织的分布式数据集，类似于传统数据库中的表。Dataset是在Spark 1.6版本中引入的，是DataFrame的类型安全版本，通过编译时类型检查来避免运行时错误。 总之，Spark SQL为Spark生态系统提供了一种处理结构化数据的高性能和灵活的方式，使得开发者可以使用SQL查询或编程API来操作大规模的数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值