spark 写入doris太慢方案解决

最新推荐文章于 2024-09-30 11:42:35 发布

HD0do(迪答数据)

最新推荐文章于 2024-09-30 11:42:35 发布

阅读量1.4k

点赞数

分类专栏： Doris 文章标签： spark mysql java

本文链接：https://blog.csdn.net/hd0do/article/details/124930080

版权

Doris 专栏收录该内容

6 篇文章 5 订阅

订阅专栏

最近公司用到了spark读写doris，因为doris其实就是mysql协议，在读取数据时候速度还是可以的，但是写入时候就发生了数据写入特别慢，几千条的数据甚至要用几十分钟，这不是可以接受的。

经过调研查询发现因为连接参数没有指定，数据都是单条写入，改造前写入方式：

        userLogDF
          .write
          .format("jdbc")
          .mode(SaveMode.Append)
          .option("driver", "com.mysql.jdbc.Driver")
          .option("url", "jdbc:mysql://${host}:${port}")
          .option("batchsize", "50000")
          .option("user", "root")
          .option("password", "bigdata1234")
          .option("isolationLevel", "NONE")
          .option("dbtable","dev_dwd.dwd_user_act" )
          .save()

而需要增加的参数就是在URL后增加，单表重复批量写入，而不是单条的循环写入

rewriteBatchedStatements=true

改造后：

        userLogDF
          .write
          .format("jdbc")
          .mode(SaveMode.Append)
          .option("driver", "com.mysql.jdbc.Driver")
          .option("url", "jdbc:mysql://${host}:${port}/dev_dwd?rewriteBatchedStatements=true")
          .option("batchsize", "50000")
          .option("user", "root")
          .option("password", "bigdata1234")
          .option("isolationLevel", "NONE")
          .option("dbtable","dev_dwd.dwd_user_act" )
          .save()

写入速度又原先的几十分钟变为了几十秒。

参考：spark写入mysql速度优化