all_data.repartition(10)
.foreachPartition(tmp => {
//获取数据库连接池
val dsPool = DataSourceSingleton.getDataSourceInstance
//获取数据库连接池
val connection = dsPool.getConnection
while (tmp.hasNext) {
val row = tmp.next()
val table_name = classForTable(row.getAs("user_id")).toString+"_user"
val user_id = row
spark存mysql多线程插入oom问题优化---采用HikariCP链接
最新推荐文章于 2022-08-03 18:44:58 发布