SparkSession写入mysql出现的数据库死锁问题？

最近工作中模型出现的死锁问题

azkaban spark任务报错信息

代码：

代码上看都是正常的DataFrame写入mysql操作，并且是update操作

来看看数据库结构：

这次看到，数据库时由联合主键构成的，查看了源数据，发现hive中数据又很多是相同的数据。

此前：做了一个小测试，将所有的联合主键取消掉，这个表没有的主键，因此写操作是insert操作了，执行spark任务后，没有出现这种操作，因此可以看出错误的原因由于重复数据太多，并且对于这种联合主键表的原因，大可能滴出现DeadLock死锁问题；

解决：

方法一：联合主键取消改成唯一主键（由于生产上的表，所以不能，个人原因）

方法二：代码中做distinct或filter操作将，重复数据过滤掉或进行去重，并设置SparkSession的事务级别，可以查看Spark官网

直接上代码:

这样，后发现Spark任务执行成功，并且写入数据成功，不会报上述DeadLock死锁问题