SparkSql的保存模式

最新推荐文章于 2023-12-27 18:34:35 发布

秋雨ヾ

最新推荐文章于 2023-12-27 18:34:35 发布

阅读量546

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/weixin_45271668/article/details/103902985

版权

spark 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

四种保存模式，默认使用第一种保存模式

第一种 ErrorIfExists就是出现错误后，抛出错误

SaveMode.ErrorIfExists

第二种 Append顾名思义，就是追加信息

SaveMode.Append

第三种 Overwrite是覆盖

SaveMode.Overwrite

第四种 Ignore是如果存在则忽略

SaveMode.Ignore:CREATE TABLE IF NOT EXISTS

使用方式

import org.apache.spark.sql._
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val context= sqlContext.load("/opt/modules/spark1.3.1/examples/src/main/resources/people.json")
context.save("/opt/test/1","json", SaveMode.Overwrite)  
//可以把SaveMode.Overwrite换成上述的几种形式