Spark读取Parquet格式的数据为Dataframe

最新推荐文章于 2021-05-17 18:22:55 发布

墨玉浮白

最新推荐文章于 2021-05-17 18:22:55 发布

阅读量1.2k

点赞数 1

分类专栏： Spark 文章标签： Spark读取parquet格式的数据为DataFrame

本文链接：https://blog.csdn.net/qq_36299025/article/details/97817384

版权

Spark 专栏收录该内容

24 篇文章 1 订阅

订阅专栏

SaveMode指定文件保存时的模式：

OverWrite 覆盖
Append 追加
ErrorIfExists 如果存在就报错
Ignore 如果存在就忽略

	val spark = SparkSession.builder().master("local").appName("schema").getOrCreate()
    val dataFrame = spark.read.json("./data/json")

    //首先保存成parquet文件
    dataFrame.write.mode(SaveMode.Append).format("parquet").save("./data/parquet")

    //读取parquet文件
//    val df: DataFrame = spark.read.parquet("./data/parquet")
    val df: DataFrame = spark.read.format("parquet").load("./data/parquet")