DataFrame其实是DataSet[Row],RDD生成DataSet步骤如下(还是以公开电影数据集为例):
1、定义数据类(也就是一行数据作为一个对象创建类)
case class User (UserID: String, Gender: String, Age: String, OccupationID: String, Zip_Code:String)
2、读取数据创建RDD
val userRDD = sc.textFile(dataPath+"users.dat")
3、将RDD中每一行数据转换成类的形式
import spark.sqlContext.implicits._
val usersForDSRDD = userRDD.map(_.split("::")).map(line => {
User(line(0).trim,line(1).trim,line(2).trim,line(3).trim,line(4).trim)
})
4、利用SparkSession生成类
val userDataSet = SparkSession.builder().config(conf).getOrCreate()
.createDataset[User](usersForDSRDD)
注意:
DataSet是强类型的。
DataSet也可以利用DataFrame生成。