all_data.repartition(10)
.foreachPartition(tmp => {
//获取数据库连接池
val dsPool = DataSourceSingleton.getDataSourceInstance
//获取数据库连接池
val connection = dsPool.getConnection
while (tmp.hasNext) {
val row = tmp.next()
val table_name = classForTable(row.getAs("user_id")).toString+"_user"
val user_id = row
spark存mysql多线程插入oom问题优化---采用HikariCP链接
最新推荐文章于 2022-04-01 23:24:31 发布
本文探讨了在使用Spark处理数据并尝试多线程插入到MySQL时遇到的内存溢出(OOM)问题。通过引入HikariCP连接池,优化数据库连接管理,有效解决了这个问题,提高了数据导入的效率和稳定性。
摘要由CSDN通过智能技术生成