Spark中RDD转换为DataFrame的三种方式

最新推荐文章于 2023-04-13 13:38:54 发布

少心

最新推荐文章于 2023-04-13 13:38:54 发布

阅读量1.8k

点赞数 2

分类专栏：大数据 Spark Scala 文章标签： RDD DataFrame Spark

本文链接：https://blog.csdn.net/qq_41595282/article/details/95654618

版权

RDD转换为DataFrame

摘要由CSDN通过智能技术生成

第一种：RDD—>DataFrame 直接手动指定schema

    //首先初始化
    val conf = new SparkConf().setAppName("transDemo").setMaster("local")
    val sparkSession = SparkSession.builder()
      .config(conf)
      .getOrCreate()
    val sc = SparkContext.getOrCreate(conf)
    //需求是wordCount，将结果转换为DataFrame
    val res = sc.makeRDD(List("hello world hello nice","good nice local took collect"))
    val res1 = res.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //导入sparkSession下的implicits._
    import sparkSession.implicits._
    //转换操作,指定类colNames，这里就是word 和 count 顺便打印一下结果
    res1.toDF("word","count").show()
    sc.stop()
    sparkSession.stop()

结果：
在这里插入图片描述
第二种：RDD—>DataFrame 通过反射推断Schema 通过样例类的方式