Spark SQL>DataFrame和DataSet 初体验

入口-SparkSession

• 在spark2.0版本之前
  SQLContext是创建DataFrame和执行SQL的入口
  HiveContext通过hive sql语句操作hive表数据，兼容hive操作，hiveContext继承自SQLContext。

• 在spark2.0之后
  SparkSession 封装了SqlContext及HiveContext所有功能。通过SparkSession还可以获取到SparkConetxt。
  SparkSession可以执行SparkSQL也可以执行HiveSQL.
  

创建DataFrame

创读取文本文件

1.在本地创建一个文件，有id、name、age三列，用空格分隔，然后上传到hdfs上
vim /root/person.txt

1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40

上传数据文件到HDFS上：
hadoop fs -put /root/person.txt /

2.在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割
打开spark-shell
/export/servers/spark/bin/spark-shell
创建RDD

val lineRDD= sc.textFile("hdfs://node01:8020/person.txt").map(_.split(" ")) //RDD[Array[String]]

3.定义case class(相当于表的schema)

case class Person(id:Int, name:String, age:Int)

4.将RDD和case class关联

val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt)) //RDD[Person]

5.将RDD转换成DataFrame

val personDF = personRDD.toDF //DataFrame

6.查看数据和schema

personDF.show

打印结果
+---+--------+---+
| id|    name|age|
+---+--------+---+
|  1|zhangsan| 20|
|  2|    lisi| 29|
|  3|  wangwu|