Spark SQL基础

Spark SQL基础

程序主入口 SparkSession

SparkSession对象不仅为用户提供了创建DataFrame对象、读取外部数据源并转化为DataFrame对象以及执行sql查询的API，还负责记录着用户希望Spark应用如何在Spark集群运行的机制、调优参数，是Spark SQL的上下文环境，是运行的基础。

val sparkSession = SparkSession
    //创建一个基本的SparkSession对象
    .builder()
    .appName("sparksql")
    .master("spark://172.16.1.14:7077")
    .config("spark.some.option","some-value")
    .getOrCreate()

DataFrame

• DataFrame是Spark SQL数据核心抽象
• DataFrame与RDD相似，都是Spark平台用以分布式并行计算的不可变分布式数据集合。
• DataFrame与RDD不同的是，RDD并不了解每一条数据的内容是怎样的，而DataFrame是每一行数据都有共同清晰的列划分的二维表。

创建DataFrame

使用sparkSession对象提供的read()方法读取数据源，支持多种数据源。

val df =sparkSession.read.json("hdfs://172.16.1.14:9000/input/people.json")
//使用show()方法，展示数据集前n条
df.show(3)

DataFrame基本操作

1. 以树格式输出DataFrame对象的结构信息(Schema)

df.printSchema()

2. select、where、orderBy、groupBy、limit、union等方法

//select()方法
df.select("name").show(3)

// 组合使用以上方法时需要导入
import sparkSession.implicits._
 df.select($"name",$"age" + 1).where($"age" > 12 ).orderBy($"age".asc).show(3)

//使用groupBy()
df.groupBy("age").count().show()

执行SQL查询

Spark SQL API官方文档
在Spark SQL模块上直接执行sql语句，在这之前要把DataFrame对象注册成临时表

// 将DataFrame注册成临时表
df.createOrReplaceTempView("student")
val sqlDF = sparkSession.sql("select name,age from student")
sqlDF.show()

//将DataFrame注册成全局临时表
df.createGlobalTempView("student")
sparkSession.sql("select name,age from global_temp.student").show()

• 全局临时表作用范围时某个Spark应用程序内所有会话(SparkSession)，在所有会话中共享，直至Spark应用终止
• 全局临时表与系统保留的数据库global_temp相关联，引用时需用global_temp标识

DataSet

DataFrame时特殊的DataSet，等价于DataSet[Row]。除了Row类型的DataSet，还可以时其他类型甚至时自定义类型DataSet[T]

case class Person(name:String,age:Long)

val caseClassDS = Seq(Person("Andy",32),Person("Ann",24)).toDS()
caseClassDS.show()

//通过指定类名的方式将DataFrame转化为对应类的Dataset对象
val peopleDS = df.as[Person]
peopleDS.show()


// DataSet版WordCount实例
val data = sparkSession.read.text("hdfs://172.16.1.14:9000/input/test.txt").as[String]
val words = data.flatMap(value => value.split(" "))
val groupmap = words.groupByKey(_.toLowerCase())
val count = groupmap.count()
count.show()

• 注意：case class的定义要在引用case class函数的外面

问题及解决

1. cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

// 需要生成jar包并在config选项引用
val sparkSession = SparkSession
      .builder().appName("sparksql")
      .master("spark://172.16.1.14:7077")
      .config("spark.jars", "/opt/IdeaProject/out/artifacts/SparkLocal_jar/SparkLocal.jar")
      .getOrCreate()

// 然后使用命令删除jar包中的一些内容
zip -d SparkLocal.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'

2. java.lang.ClassNotFoundException: sparktest$$anonfun$1

// 需要生成jar包并在setJars选项引用
val conf =new SparkConf()
    .setAppName("wordcount")
    .setMaster("spark://172.16.1.14:7077")
    .setJars(List("/opt/IdeaProject/out/artifacts/SparkLocal_jar/SparkLocal.jar"))

// 然后使用命令删除jar包中的一些内容
zip -d SparkLocal.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'