spark sql parquet数据源 （推荐）

package com.ws.jdbc
import org.apache.spark.sql.{DataFrame, SparkSession}

/**
  * 推荐使用
  */
object ParquetSource {

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().appName("ParquetSource").master("local[*]").getOrCreate()

    //读取parquet数据，指定一个目录 , parquet文件头保存了数据格式和偏移量，更加智能化
    val data: DataFrame = sparkSession.read.parquet("E:\\bigData\\testdata\\move.parquet")
    //也可以这样获取
    //sparkSession.read.format("parquet").load("\"E:\\\\bigData\\\\testdata\\\\move.parquet\"")
    
    val result = data.limit(10)

    result.printSchema()//非Action

    result.show()

    sparkSession.stop()
  }
}