spark创建DF的两种方式

spark 专栏收录该内容
14 篇文章 0 订阅
方式一:反射:(使用这种方式来创建DF是在你知道字段具体有哪些)
1.创建一个SparkContext,然后再创建SQLContext
2.先创建RDD,对数据进行整理,然后关联case class,将非结构化的数据转换成结构化数据
3.显示的调用toDF方法,将RDD转换成DF(需要隐私转换)
4.注册临时表
5.执行SQL(Transformation,lazy)
6.zhixAction

val conf = new SparkConf().setAppName("df").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    //创建一个普通RDD
    val rdd = sc.textFile("G:\\qf大数据\\spark\\day06_sql\\students.txt")
    val student: RDD[Student] = rdd.map(x => {
      val sp = x.split(" ")
      Student(sp(0).toInt, sp(1), sp(2).toInt)
    })
    import sqlContext.implicits._
    val df: DataFrame = student.toDF()
    df.registerTempTable("student")
    val df1 = sqlContext.sql("select * from student where age<18")
    df1.show()
    //将数据使用json的格式保存,并且这里使用的追加的操作。
    df1.write.mode(SaveMode.Append).json("")

方式二:接口方式:(不知道数据的具体字段有哪些,一般开发中都会使用这种方式)
1.创建sparkContext,然后创建SQLContext
2.想创建RDD对数据进行整理,然后关联Row,将非结构化数据转换成结构化数据
3.定义schema(StructType(Array(StructField())
4.注册临时表
5.执行SQL
6.执行Action

val conf = new SparkConf().setAppName("df02").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val rdd = sc.textFile("G:\\qf大数据\\spark\\day06_sql\\students.txt")
    rdd.map(x=>{
      val str = x.split(",")
      Row(str(0).toInt,str(1),str(2).toInt)
    })
    val structType = StructType(Array(StructField("id",IntegerType,true),StructField("name",StringType,true),StructField("age",IntegerType,true)))
    val df = sqlContext.createDataFrame(structType)
    df.registerTempTable("student")
    sqlContext.sql("select * from student")
 
  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值