sprak rdd转DataFrame

先简单介绍一下rdd和DataFrame的区别

像txt这种没有schema信息的文件,可以通过下面这种方式加载,加载进来后就是一个rdd

val rdd = spark.sparkContext.textFile("d:/xxx/xxx.txt")

而像json和parquet文件可以通过下面方式导入,导入进来后就是一个df

val df = spark.read.format("json").load("d:/xxx/xxx.json")

rdd可以通过下面的方式转成DataFrame

先定义一下case class类

case class Info(id:Int,name:String,age:Int)

导入隐式转换

import spark.implicits._

val infoDF = rdd.map(_.split(",")).map(line=>Info(line(0).toInt,line(1),line(2).toInt)).toDF()

然后就可以很方便的查询了

infoDF.filter(infoDF.col("age") > 30).show()

也可以转成一个临时表,使用spark sql的方式来查询
infoDF.createOrReplaceTempView("infos")
spark.sql("select * from infos where age > 30").show()