spark：RDD与dataframe互操作

spark：RDD与dataframe互操作

1：反射 case class方式
此方式必须先知道数据类型与字段，定义class，
case class People(name:String,age:Int,classname:Int)
再转换RDD
val rdd=spark.sparkContext.textFile(“f://topk.txt”)
import spark.implicits._
val df=rdd.map{line=>line.split(",")}.map(line=>People(line(0).toString(),line(1).toInt,line(2).toInt)).toDF()
此时可以根据sql方式查询
df.createOrReplaceTempView(“p”)
spark.sql(“select * from p”).show()
也可以根据api方式查询
df.filter(df.col(“age”)>10).show()
2:编程 ROW方式
此时不知道数据类型与字段
val rdd1 = rdd.map{_.split(",")}.map(line=>Row(line(0).toString(),line(1).toInt,line(2).toInt))
row方式需要定义schema
val schemadf=StructType(Array(
StructField(“name”,StringType,true),
StructField(“age”,IntegerType,true),
StructField(“class”,IntegerType,true)
))
使用spark.createDataFrame(rdd1,schemadf)将RDD与DataFrame相关联
在进行查询即可，此方式同样存在API查询与sql查询

建议编程中使用反射方式