Spark jdbc mode=overwrite保留table原结构

阳沉

已于 2023-06-28 19:38:03 修改

阅读量422

点赞数

分类专栏： spark 文章标签： spark 大数据 mysql

于 2023-06-27 18:00:30 首次发布

本文链接：https://blog.csdn.net/qq_43536051/article/details/131422512

版权

spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Spark jdbc mode=overwrite保留table原结构

使用mode为overwrite，设置truncate=True，可以将overwrite的drop table操作改为truncate table操作，保留表结构。

参考文档

官方文档：https://spark.apache.org/docs/2.4.5/api/java/org/apache/spark/sql/DataFrameWriter.html#jdbc-java.lang.String-java.lang.String-java.util.Properties-
在这里插入图片描述

示例

注：示例为python代码

result_df.write.mode(saveMode="overwrite") \
            .format("jdbc") \
            .option("truncate",True) \
            .option("driver", "com.mysql.jdbc.Driver") \
            .option("url", "url" ) \
            .option("useSSL", "false") \
            .option("user", "df") \
            .option("password", "sdfgsd") \
            .option("batchsize", 5000) \
            .option("dbtable", table) \
            .option("isolationLevel", "NONE") \
            .save()