sparksql mysql_如何让spark sql写mysql的时候支持update操作

如何让sparkSQL在对接mysql的时候，除了支持：Append、Overwrite、ErrorIfExists、Ignore；还要在支持update操作

1、首先了解背景

spark提供了一个枚举类，用来支撑对接数据源的操作模式

通过源码查看，很明显，spark是不支持update操作的

2、如何让sparkSQL支持update

关键的知识点就是：

我们正常在sparkSQL写数据到mysql的时候：

大概的api是：

dataframe.write

.format("sql.execution.customDatasource.jdbc")

.option("jdbc.driver", "com.mysql.jdbc.Driver")

.option("jdbc.url", "jdbc:mysql://localhost:3306/test?user=root&password=&useUnicode=true&characterEncoding=gbk&autoReconnect=true&failOverReadOnly=false")

.option("jdbc.db", "test")

.save()

那么在底层中，spark会通过JDBC方言JdbcDialect ， 将我们要插入的数据翻译成：

insert into student (columns_1 , columns_2 , ...) values (? , ? , ....)

那么通过方言解析出的sql语句就通过PrepareStatement的executeBatch()，将sql语句提交给mysql，然后数据插入；

那么上面的sql语句很明显，完全就是插入代码，并没有我们期望的 update操作，类似：

UPDATE table_name SET field1=new-value1, field2=new-value2

但是mysql独家支持这样的sql语句：

INSERT INTO student (columns_1,columns_2)VALUES ('第一个字段值','第二个字段值') ON DUPLICATE KEY UPDATE columns_1 = '呵呵哒',columns_2 = '哈哈哒';

大概的意思就是，如果数据不存在则插入，如果数据存在，则 执行update操作；

因此，我们的切入点就是，让sparkSQL内部对接JdbcDialect的时候，能够生成这种sql：

INSERT INTO 表名称 (columns_1,columns_2)VALUES ('第一个字段值','第二个字段值') ON DUPLICATE KEY UPDATE columns_1 = '呵呵哒',columns_2 = '哈哈哒';

3、改造源码前，需要了解整体的代码设计和执行流程

首先是：

dataframe.write

调用write方法就是为了返回一个类：DataFrameWriter

主要是因为DataFrameWri