Spark SQL概述、数据帧与数据集（4.1）

简单使用Spark SQL

（一）了解SparkSession

• Spark Shell启动时除了默认创建一个名为sc的SparkContext的实例外，还创建了一个名为spark的SparkSession实例，该spark变量可以在Spark Shell中直接使用。
• 从Spark2.0以上版本开始, Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。SparkSession实现了SQLContext及HiveContext所有功能。
• SparkSession只是在SparkContext基础上的封装，应用程序的入口仍然是SparkContext。SparkSession允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序，支持从不同的数据源加载数据，并把数据转换成DataFrame，然后使用SQL语句来操作DataFrame数据。

（二）准备工作

1、准备数据文件

• 在/home目录里创建student.txt文件
• 将student.txt上传到HDFS的/student/input目录

1,郑秀芸,女,20
2,王志峰,男,18
3,陈燕文,女,21
4,郑国栋,男,19
5,肖雨涵,男,20

2、启动Spark Shell

• 启动Spark Shell，执行命令：spark-shell --master spark://master:7077
  

（三）加载数据为Dataset

1、读文件得数据集

• 调用SparkSession对象的read.textFile()可以读取指定路径中的文件内容，并加载为一个Dataset

• 执行命令：val ds = spark.read.textFile(“hdfs://master:9000/student/input/student.txt”)
  

• 从变量ds的类型可以看出，textFile()方法将读取的数据转为了Dataset。除了使用textFile()方法读取文本内容外，还可以使用csv()、jdbc()、json()等方法读取CSV文件、JDBC数据源、JSON文件等数据。(csv: comma separated value)

2、显示数据集内容

• 执行命令：ds.show()
  
• 可以看出，Dataset将文件中的每一行看作一个元素，并且所有元素组成了一列，列名默认为value。

3、显示数据集模式

• 执行命令：ds.printSchema()

（四）给数据集添加元数据信息

1、定义学生样例类

• 定义一个样例类Student，用于存放数据描述信息（Schema）

• 执行命令：case class Student(id: Int, name: String, gender: String, age: Int)

• 基于样例类创建对象很简单，不需要new关键字，只需要传入相应参数即可创建对象
  

2、导入隐式转换

• 导入SparkSession的隐式转换，以便后续可以使用Dataset的算子
• 执行命令：import spark.implicits._ （_表示implicits包里所有的类，类似于Java里的*）
• 

3、将数据集转换成学生数据集

• 调用Dataset的map()算子将每一个元素拆分并存入Student样例对象
• 执行命令:paste进入粘贴模式，然后执行红框类的命令
  

val studentDS = ds.map(line => {
      val fields = line.split(",")
      val id = fields(0).toInt
      val name = fields(1)
      val gender = fields(2)
      val age = fields(3).toInt
      Student(id, name, gender, age)
   }
)

4、对学生数据集进行操作

（1）显示数据集内容

• 执行命令：studentDS.show
  
• 可以看到，studentDS中的数据类似于一张关系型数据库的表。

（2）打印数据集模式

• 执行命令：studentDS.printSchema

（3）对数据集进行投影操作

• 显示学生的姓名和年龄字段，执行命令：studentDS.select(“name”, “age”).show

• 对应的SQL语句：select name, age from student