SparkSQL的CSV数据源和Parquet数据源

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ys_230014/article/details/83377662

1.CSV数据源

package cn.ysjh0014.SparkSql

import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

object SparkSqlCsv {

  def main(args: Array[String]): Unit = {

    val session: SparkSession = SparkSession.builder().appName("JsonSource").master("local[4]").getOrCreate()

    import session.implicits._

    //读取csv类型的数据
    val csv: DataFrame = session.read.csv("D:\\测试数据\\test2\\part-00000-f967e149-5ac3-4f9b-ba2a-16f22c6c3496.csv")

    csv.show()

    session.stop()

  }
}

运行结果:

可以看出CSV类型的文件只能读出有几列,并不能读出每列的列名信息,只能默认用_c0等代替,并且每列的数据类型也只能用识别为String

2.Parquet数据源(更加智能,可以提高程序的执行效率)

package cn.ysjh0014.SparkSql

import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

object SparkSqlCsv {

  def main(args: Array[String]): Unit = {

    val session: SparkSession = SparkSession.builder().appName("JsonSource").master("local[4]").getOrCreate()

    import session.implicits._

    //读取csv类型的数据
    val parquet: DataFrame = session.read.parquet("D:\\测试数据\\test3\\part-00000-d1028b5e-9ca5-41ba-b221-ffc982712763.snappy.parquet")

//    val parquet: DataFrame = session.read.format("parquet").load("D:\\测试数据\\test3\\part-00000-d1028b5e-9ca5-41ba-b221-ffc982712763.snappy.parquet")
//    parquet.printSchema()
    parquet.show()

    session.stop()

  }
}

Parquet文件在文件中直接打开你会发现全是数字,不是你原来保存的内容,这是他独特的保存方式,既保存了数据,又保存了Schema信息,保存了有哪些列,列的类型,偏移量信息,将相同的列的数据保存到l一起

 

展开阅读全文

没有更多推荐了,返回首页