Spark DataFrame vs Dataset

DataFrame vs Dataset

DataFrame = Dataset[Row]

SchemaRDD ---------->DataFrame ---------->Dataset

                rename due to                compile-time type safety

                OO structure change

 

compile-time type safety:在下代码的时候就把问题暴露出来 DataFrane和DataSet具有类似的方法 DataSet由DataFrame转换而来


import org.apache.spark.sql.SparkSession

/**
  * Created by Administrator on 2018/6/8.
  */
object DatasetApp {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("DatasetApp")
      .master("local[2]")
      .getOrCreate()
    import spark.implicits._
    //创建DF
    val csvDF = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("file:///D:/Data/123.csv")
    //val csvDF = spark.read.format("csv").option("header","true").option("inferSchema","true").load("file:///disk4/data/123.csv")


    //DF转化为DS
    val ds = csvDF.as[CsvFile]
    /*
    好处是可以再code的时候就解析列名的正确性
     */
    val selectedDF = csvDF.select("id")
    //.show()
    val selectedDS = ds.map(x => x.id) //.show()

    //查看query执行计划,查看执行计划
    selectedDF.queryExecution.optimizedPlan.numberedTreeString
    selectedDS.queryExecution.optimizedPlan.numberedTreeString

    ds.printSchema()
    spark.stop()
  }

  case class CsvFile(id: Int, name: String, age: Int)

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值