Spark_Scala-累积-RDD-DataSet-DataFrame-相互转换

Spark_Scala-累积-RDD-DataSet-DataFrame-相互转换

代码举例

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

case class User(id:Int,name:String,age:Int)

object SparkSQL03_Transform {
  def main(args: Array[String]): Unit = {

    //创建配置对象
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL03_Transform")

    //环境对象
    val spark: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

    //隐隐式转换规则
    import spark.implicits._

    //创建RDD
    val rdd: RDD[(Int, String, Int)] = spark.sparkContext.makeRDD(List((1,"zhansgan",30),(2,"lisi",40),(3,"wangwu",79)))

    // to DF
    val df: DataFrame = rdd.toDF("id","name","age")

    // to DS
    val ds: Dataset[User] = df.as[User]

    // to DF
    val df1: DataFrame = ds.toDF()

    //转换为rdd
    val rdd1: RDD[Row] = df1.rdd

    rdd1.foreach(row=>{
      //获取数据时可以通过索引访问数据
      println(row.getString(1))
    })

    //释放资源
    spark.stop()
  }

}

/*
00/00/23 00:12:07 INFO CodeGenerator: Code generated in 11.185477 ms
zhansgan
lisi
wangwu
 */

rdd直接转换到dataset

package com.atguigu.bigdata.spark.sql

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

/**
 * rdd直接转换到dataset
 */


/**
 * 样例类
 * @param id
 * @param name
 * @param age
 */

case class User1(id:Int,name:String,age:Int)

object SparkSQL03_Transform1 {
  def main(args: Array[String]): Unit = {

    //创建配置对象
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL03_Transform")

    //环境对象
    val spark: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

    //隐隐式转换规则
    import spark.implicits._

    //创建RDD
    val rdd: RDD[(Int, String, Int)] = spark.sparkContext.makeRDD(List((1,"zhansgan",30),(2,"lisi",40),(3,"wangwu",79)))

    //RDD 直接->DataSet
    val userRDD: RDD[User1] = rdd.map {
      case (id, name, age) => {
        User1(id, name, age)
      }
    }
    val userDS: Dataset[User1] = userRDD.toDS()

    //再转换为rdd输出一下
    val rdd1: RDD[User1] = userDS.rdd
    rdd1.foreach(println) //rdd这样输出 记住


    //释放资源
    spark.stop()
  }

}

/*
00/00/23 00:00:00 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)
User1(3,wangwu,79)
User1(1,zhansgan,30)
User1(2,lisi,40)
 */

　　时间一转眼就过去了三年，
　　一切在我心开的好皎洁，
　　现在倒计时也不剩几天，
　　脚边的纸片，
　　来不及去捡，
　　仿佛是快要冲破压力的茧，
　　离校后大家又各自熬夜，
　　早上的黑眼圈，
　　课上的小困倦，
　　一天一天又一天，
　　我只想拉住流年，
　　好好的说声再见，
　　遗憾感谢都回不去昨天，
　　我只想铭记这瞬间，
　　我们一起走过的光年，
　　六月后，
　　光年成记念，
　　这个班级太骄傲，
　　什么课都不发言，
　　但是还是很温暖，
　　同学之间的寒暄，
　　压着课本抄作业，
　　考试上的看一眼，
　　现在想起来，
　　会不会觉得很亲切，
　　我只想拉住流年，
　　好好的说声再见，
　　遗憾感谢都回不去昨天，
　　我只想铭记这瞬间，
　　我们一起走过的光年，
　　我只想拉住流年，
　　好好的说声再见，
　　在心中刻下你们的笑脸，
　　看流星划过天边，
　　许下我们的心愿，
　　让现在成为永远，
　　永远，
　　永远，
　　啦啦啦啦啦啦……
　　
　　
　　雷雨心
　　雷雨心，蒋思涵
　　雷雨心
　　彭飞，郑楠