Spark SQL是为了提供对结构化数据处理而推出的技术。
Spark自带的例子还是比较详尽而浅显易懂的。本次Spark SQL,我们通过研究Spark自带的教程demo来学习。
Spark自带的demo在examples\src\main目录下,如下图所示,针对相同技术提供了不同语言的实现方式,总体而言还是Scala居多。
resources文件夹下,是其支持的原始数据文件类型,本次我们使用JSON和Txt文件进行处理。
json文件内容如下所示:
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}
这里特别需要注意的是,以上内容并不符合JSON格式,有明显的语法错误:
- 集合缺少中括号
- {}之间没有逗号
给它加上[]测试、发现不能正确解析,加上,测试发现能正常解析。在没有阅读源码,通过以上测试结果推断,Spark逐行读入,是以{}开始结束进行解析的,这里没有测试如果大括号内再嵌套大括号会怎样。
项目中要引入Spark-SQL依赖:
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.13</artifactId>
<version>3.2.0</version>
</dependency>
书写Scala代码进行测试:
import org.apache.spark.sql.SparkSession
object TestSQL {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.master("local")
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
val df = spark.read.json("file:///d:/test_spark/people.json")
df.show()
df.createOrReplaceTempView("people")
spark.sql("select * from people where age>20").show()
}
}
以上代码执行了对全表的查询、年龄大于20的查询。结果如下:
文本文件内容如下所示:
Michael, 29
Andy, 30
Justin, 19
文本文件因为没有像JSON文件一样可以表示属性名,所以一般需要通过定义一个实体类的方式,进行属性的映射:
case class Person(name: String, age: Long)
完整代码如下:
import org.apache.spark.sql.SparkSession
object TestText {
case class Person(name: String, age: Long)
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.master("local")
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
import spark.implicits._
val peopleDF = spark.sparkContext
.textFile("d:/test_spark/people.txt")
.map(_.split(","))
.map(attributes => Person(attributes(0), attributes(1).trim.toInt)).toDF()
// Register the DataFrame as a temporary view
peopleDF.createOrReplaceTempView("people")
val teenagersDF = spark.sql("select * from people where age>20")
// The columns of a row in the result can be accessed by field index
teenagersDF.map(teenager => "Name: " + teenager(0)).show()
}
}
本次查询出年龄大于20的数据,结果如下所示: