前言
- 在Spark2.0版本之前,Spark SQL中SQLContext是创建DataFrame和执行SQL的入口,可以利用hiveContext通过hive sql语句操作hive表数据,兼容hive操作,并且hiveContext继承自SQLContext.
- 在Spark2.0之后,这些都统一于SparkSession.SparkSession封装了SparkContext,SqlContext,通过SparkSession可以获取到SparkContext,SqlContent对象.
1. 读取文本文件创建DataFrame
1.1 通过RDD转换成DataFrame
文本文件即后缀为.txt的文件,如何读取呢,步骤如下:
- 在本地创建一个文件person.txt,有三列id,name,age.列中的值用空格分隔,然后上传到hdfs上.
1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40
上传数据文件到hdfs上:
hdfs dfs -put person.text /
2. 在spark shell执行如下命令,读取数据,将每一行的数据使用列分隔符分割.
- 先执行 spark-shell --master local[2]
- 然后在命令行输入
val lineRDD = sc.textFile("/persont.txt").map(_.split(" "))
- 定义case class(相当于表的schema约束)
命令行继续输入case class Person(id:Int, name:String, age:Int)
- 将RDD和case class关联
命令行继续输入val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
5. 将RDD转换成DataFrame
命令行继续输入val personDF = personRDD.toDF
- 展示出DataFrame中的数据
命令行继续输入personDF.show
我们可以看下personDF的约束
1.2 通过SparkSession构建DataFrame
使用spark-shell中已经初始化好的SparkSession对象,直接生成DataFrame
- 先执行
spark-shell --master local[2]
- 命令行继续输入
val dataFrame = spark.read.text("/person.txt")