![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据处理
KevinChao888
这个作者很懒,什么都没留下…
展开
-
spark无法写postgres的问题解决
一、问题执行时始终报错报不到jdbc数据源:ClassNotFoundException: Failed to find data source: jdbc”二、解决1. 首先确认驱动是否一起打包将jar解压,通过ls -R | grep postgres发现并无pg的驱动,将pg驱动添加至pom.xml: <!-- https://mvnrepo...原创 2019-09-19 16:52:28 · 508 阅读 · 1 评论 -
spark连pgbouncer写pg抛异常
一、问题spark通过pgbouncer批量写数据时抛异常:Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1435) a...原创 2019-09-23 11:48:54 · 395 阅读 · 0 评论 -
解决spark任务Futures timed out after...问题
一、问题19/09/23 19:10:49 ERROR ApplicationMaster: Uncaught exception:java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$Defa...原创 2019-09-23 20:57:02 · 11618 阅读 · 1 评论