Spark覆盖写入mysql表但不改变已有的表结构

已于 2022-10-30 14:38:05 修改
阅读量1.9k 收藏 3
点赞数 1
分类专栏： Spark mysql 源码 文章标签： spark mysql scala
于 2021-12-02 19:13:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/121684201
版权
Spark 同时被 3 个专栏收录
76 篇文章 8 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
源码
21 篇文章 3 订阅
订阅专栏
mysql
3 篇文章 0 订阅
订阅专栏
本文探讨了如何使用Spark在已有MySQL表结构不变的情况下进行覆盖写入操作。关键在于设置`.option("truncate", true)`，这使得Spark在不删除表结构的前提下，先清空表数据，然后写入新的数据，实现全表覆写。文章通过源码跟踪，解释了Spark 2.2.1版本中的实现原理，涉及`jdbc`、`SaveIntoDataSourceCommand`、`CreatableRelationProvider`和`JdbcRelationProvider`等关键步骤。" 127656790,7470676,公安大数据可视化分析系统的架构风格实践,"['系统架构', '大数据分析', '任务管理', '模型开发', '事件驱动']
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

本文记录Spark如何在表存在的情况时覆盖写入mysql但不修改已有的表结构，并进行主要的源码跟踪以了解其实现原理。主要场景为先用建表语句建好mysql表，然后用spark导入数据，可能会存在多次全表覆写导入的情况。

代码

已上传github

主要的参数为.option(“truncate”, true)，可以参考Spark官网http://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

主要代码逻辑为，读取csv，进行日期转化࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
spark结构化流保存mysql_实战|使用Spark结构化流写入Hudi
weixin_35834213的博客
02-09 280
欢迎关注微信公众号：ApacheHudi1. 项目背景传统数仓的组织架构是针对离线数据的OLAP(联机事务分析)需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的(准)实时同步系统的开发。然而实时同步数仓从一开始就面临如下几个挑战：小...
sparkSQL 写数据到MySQL的几种模式解释以及overwrite模式在不删除表结构的情况下的实现
风逍遥-ygq
03-26 7287
１、数据存入Mysql 几种模式 　　默认为SaveMode.ErrorIfExists模式，该模式下，如果数据库中已经存在该表，则会直接报异常，导致数据不能存入数据库； 　　SaveMode.Append 如果表已经存在，则追加在该表中；若该表不存在，则会先创建表，再插入数据； 　　SaveMode.Overwrite 重写模式，其实质是先将已有的表及其数据全都删除，再重新创建该表，最后插入新的...
mysql overwrite数据,sparkSQL 写数据到MySQL的几种模式解释以及overwrite模式在不删除表结构的情况下的实现...
weixin_31188325的博客
03-17 1249
１、数据存入Mysql 几种模式默认为SaveMode.ErrorIfExists模式，该模式下，若数据库中已经存在该表，则会直接报异常，导致数据不能存入数据库；SaveMode.Append 若表已经存在，则追加在该表中；若该表不存在，则会先创建表，再插入数据；SaveMode.Overwrite 重写模式，其本质是先将已有的表及其数据全都删除，再重新创建该表，然后插入新的数据；SaveMode...
spark overwrite分区覆盖导致全表覆盖问题
q954103的博客
06-26 7092
比如我们目前有两个分区 2019-03-22 和 2019-03-23 两个分区，现在我们使用 saveAsTable 想覆盖其中一天的分区，结果却是将整个所有分区遮盖了。重建了整个目录，这明显不是我们想要的到的结果。 试过下图还是不行 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=no...
spark如何覆写原文件夹的数据
weixin_42613017的博客
12-29 430
在 Apache Spark 中，您可以使用 saveAsTextFile 方法来覆盖原始文件夹中的数据。例如，假设您有一个 Spark RDD 叫做 rdd，并且希望将其保存到文件夹 /path/to/output，您可以使用以下代码： rdd.saveAsTextFile("/path/to/output") 这将会覆盖原始文件夹中的所有数据。 注意：如果原始文件夹中有许多文件，那么 Spa...
SparkSQL overwrite插入Hive表数据重复问题
weixin_43813200的博客
07-20 2099
4）当最后一个执行完成的Spark插入任务结束后，此时Hive路径下已经移动过来多个任务的数据文件，由于已经没有正在执行的Spark写任务，因此删除_temporary目录成功，创建元数据成功，结果就是这个元数据对应了该Hive路径下所有版本的数据文件。Hive在写入数据的时候也会创建临时目录，但是在非动态分区的写入模式下，Hive创建的临时目录是在具体的分区路径下，比如/user/warehouse/dt=20201022，因此各个分区的写入任务是可以同时并行的。有两组文件，每组大小是一样的。......
spark rdd转dataframe 写入mysql的实例讲解
09-09
2. **显式转换**：如果不想使用隐式转换，可以通过`SQLContext`的`createDataFrame`方法，传入RDD和其对应的元数据（如数据结构的类）来创建DataFrame。在示例中，虽然没有展示这个方法，但可以这样实现： ```scala ...
hive集成spark和mysql
机器学习算法
04-14 1633
参考：http://ihoge.cn/2018/HiveSpark.html 一、Hive安装 1.Hive简介 ​ Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 ​ Hive是一个可以提供有效的、合理的且直观的组织和使用...
SparkSQL实现分区覆盖写
u010585659的博客
11-04 4535
一、创建分区表 scala> spark.sql("CREATE TABLE ptable(c1 int,c2 int) PARTITIONED BY (step string)") res1: org.apache.spark.sql.DataFrame = [] 二、向分区中插入测试数据 scala> spark.sql("INSERT INTO TABLE ptable...
SparkSQL之dataframe写入mysql报错
感谢你的关注~~~~ღ( ´･ᴗ･` )
09-10 758
rs.write.mode("overwrite").jdbc("jdbc:mysql://ip:portid/databases?useUnicode=true&characterEncoding=utf-8","tablesName",prop) 注意： 　A. 尽量先设置好存储模式 　　　　SaveMode.ErrorIfExists【默认】模式，该模式下，如果数据库中已经存在...
spark写入pg_将Spark数据框写入Postgres数据库
weixin_35607472的博客
01-14 1110
The spark cluster setting is as follows:conf['SparkConfiguration'] = SparkConf() \.setMaster('yarn-client') \.setAppName("test") \.set("spark.executor.memory", "20g") \.set("spark.driver.maxResultSize...
Spark将数据写入Mysql
SunnyRivers
04-12 7971
前言 我在很早之前用spark读取本地文件然后使用如下代码将数据写入到mysql df.write.format("jdbc") .mode(SaveMode.Append) .option("url", "jdbc:mysql://localhost:3306/spark") .option("dbtable", "unisk") .option(...
学习笔记Spark（七）—— Spark SQL应用（2）—— Spark DataFrame基础操作
别呀的博客
10-10 1987
二、Spark DataFrame基础操作 2.1、DataFrame DataFrame是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。 数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。 RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。 ...
史上最简单的spark教程第十三章-SparkSQL编程Java案例实践(终章)
只有变秃,才能更强
04-03 2670
Spark-SQL的Java实践案例(五) 本章核心:JDBC 连接外部数据库,sparkSQL优化,故障监测 史上最简单的spark教程 所有代码示例地址:https://github.com/Mydreamandreality/sparkResearch (提前声明:文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章,写作不易,转载请注明) (文章参考:Elasti...
sparkSQL sparkSQL读写数据到MySQL
a3125504x的博客
09-15 3272
sparkSQL读写数据到MySQL前言sparkSQL加载MySQL表中的数据sparkSQL写数据到MySQLsparkSQL写数据部署到集群pom依赖 前言 spark sql可以通过 JDBC 从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中 流程图 sparkSQL加载MySQL表中的数据 import java.util.Properties import org.apache.spark.SparkConf imp
Spark SQL将数据写入Mysql表的一些坑
热门推荐
dai451954706的专栏
10-18 4万+
Spark SQL将数据写入Mysql表的一些坑
pyspark overwrite oracle truncate修改了表结构
lbl251的博客
09-27 429
【代码】pyspark overwrite oracle truncate修改了表结构。
1、使用spark来处理CSV文件，写入mysql表当中
最新发布
09-17
Spark是一个强大的大数据处理框架，可以方便地读取和操作CSV文件，然后将数据加载到MySQL数据库中。以下是基本步骤： 1. **读取CSV文件**： 使用`pyspark.sql.functions.read_csv()`函数从本地或HDFS读取CSV文件。例如： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() df_csv = spark.read.format("csv") \ .option("header", "true") \ # 如果第一行包含列名 .option("inferSchema", "true") \ # 自动推断数据类型 .load("path_to_your_file.csv") ``` 2. **数据转换和清洗**： 根据需要对DataFrame进行数据预处理，如缺失值处理、类型转换等。 3. **建立连接到MySQL**： 首先安装PyODBC库（如果尚未安装），然后创建一个连接： ```python import pyodbc connection_string = f"DRIVER={{MySQL}};SERVER=your_server;DATABASE=your_database;UID=your_username;PWD=your_password" conn = pyodbc.connect(connection_string) ``` 4. **写入MySQL**： 使用`df_csv.write.jdbc()`方法将DataFrame写入MySQL表： ```python df_csv.write.jdbc(url="jdbc:mysql://localhost/your_table", table="your_table_name", mode="append", # 或者"overwrite"覆盖原有数据 properties={"dbtable": "your_table_name", "driver": "com.mysql.cj.jdbc.Driver"}) ``` 5. **关闭连接**： ```python conn.close() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值