SparkSQL 调用Create方法获取DataFrame和DataSet案例详解

最新推荐文章于 2024-08-21 16:45:43 发布

越过山丘才发现无人等候

最新推荐文章于 2024-08-21 16:45:43 发布

阅读量365

点赞数

文章标签： spark sql scala

本文链接：https://blog.csdn.net/Dream_aju/article/details/120975551

版权

本文详细探讨了如何在SparkSQL中通过调用create方法来创建DataFrame和DataSet，分别给出了具体的操作步骤和示例，帮助读者深入理解这两种数据结构的创建过程。

摘要由CSDN通过智能技术生成

调用create方法获取DataFrame

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.types.{LongType, StringType, StructType}
import org.apache.spark.sql.{DataFrame, Row, SparkSession, types}

/**
 * 一、可以调用create方法构建DF
 * Javabeen + 反射
 */
object _01DFCreatMethod {
    def main(args: Array[String]): Unit = {
        //1.获取session
        val session: SparkSession = SparkSession
          .builder()
          .appName("")
          .master("local[*]")
          .getOrCreate()

        //2.创建Student类
        //  通过工具类完成java和scala集合的互相转换
        var list = List(new Student("1","lisi","m"),
        new Student("2","l","m"),
        new Student("1","ff","f")
        )

        //3.导入java的集合转换
        // 创建DF并传入一个list 和 classof[T]
        import session.implicits._
        import scala.collection.JavaConversions._
        val df: DataFrame = ses