RDD/Dataset/DataFrame互转
1.RDD -> Dataset
val ds = rdd.toDS()
2.RDD -> DataFrame
val df = spark.read.json(rdd)
3.Dataset -> RDD
val rdd = ds.rdd
4.Dataset -> DataFrame
val df = ds.toDF()
5.DataFrame -> RDD
val rdd = df.toJSON.rdd
6.DataFrame -> Dataset
val ds = df.toJSON
RDDDatasetDataFrame互转1
最新推荐文章于 2022-12-11 16:45:54 发布