spark连接JDBC 报 Task not serializable问题

有个简单需求用spark解析一个配置文件存入数据库,在操作中,为了高效使用了spark的foreachPartition算子,结果呢,一直告诉我:

看最下边日志原因告诉我是jdbc无法序列化导致的,于是打算重写jdbc类实现序列话,结果,,,无法实现序列号接口,百般无奈下,看到下边日志提示,明显是util.hashMap无法序列化导致的,那么也就是说因为连接jdbc时传入的propertis无法序列化导致的,于是改为一下代码:

问题得到解决。开始写法的问题是想把一个已经创建好的连接对象进行序列化,仔细想来真是二了一波,做记录以此提醒。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值