Spark2.x使用Spark Session写入数据到Oracle时报错解决方案

最新推荐文章于 2024-04-04 23:23:48 发布

Magic.W

最新推荐文章于 2024-04-04 23:23:48 发布

阅读量2.1k

点赞数

分类专栏： Spark 文章标签： oracle 数据库 spark

本文链接：https://blog.csdn.net/weixin_31589597/article/details/121818158

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Spark2.x使用Spark Session写入数据到Oracle时报错java.sql.SQLException: Listener refused the connection with the following error:ORA-12519, TNS:no appropriate service handler found

程序报错如下

java.sql.SQLException: Listener refused the connection with the following error:
ORA-12519, TNS:no appropriate service handler found

程序写入Oracle方式

jdbcDF.read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .mode(SaveMode.Append)
  .load()

解决方案

jdbcDF.repartition(3).read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .mode(SaveMode.Append)
  .load()

总结：

当使用spark2.x的spark session的write方法写入DB的时候，要考虑DB的最大连接数，当超过最大连接数时则会报以上错误。
write方式是分布式写入到DB的，数据有多少个分区就写入时就会创建多少个数据库连接，这与mapPartition/foreachPartition中创建数据库连接类似。
通过以上两点，使用repartition减少分区数则完美解决该问题。