spark RDD 生成 DataSet

DataFrame其实是DataSet[Row]，RDD生成DataSet步骤如下（还是以公开电影数据集为例）：

1、定义数据类（也就是一行数据作为一个对象创建类）

case  class User (UserID: String, Gender: String, Age: String, OccupationID: String, Zip_Code:String)

2、读取数据创建RDD

val userRDD = sc.textFile(dataPath+"users.dat")

3、将RDD中每一行数据转换成类的形式

import spark.sqlContext.implicits._
val usersForDSRDD = userRDD.map(_.split("::")).map(line => {
    User(line(0).trim,line(1).trim,line(2).trim,line(3).trim,line(4).trim)
})

4、利用SparkSession生成类

val userDataSet = SparkSession.builder().config(conf).getOrCreate()

.createDataset[User](usersForDSRDD)

 

注意：

DataSet是强类型的。

DataSet也可以利用DataFrame生成。