JDBC连接数据库读超时

1、背景

工作中遇到顺便记录一下,在数据量很大的情况下使用jdbc连接到数据库当实际读取时间超过设置的读取时间时会导致读超时。当时客户环境数据为几亿条数据,使用jdbc连接到对应数据库(会将对应的数据全部提交到spark中计算,导致时间过长)监听对应表的数据质量,此时读取的时间超过设定值抛出如下错误
在这里插入图片描述

2、使用场景

为了解决上述问题,准备将连接时间设置延长,当读取源码时发现jdbc设置的连接是全局时间,导致其它地方的驱动连接时间会加载到当前驱动的连接时间(吐槽JDBC超时时间为全局操作)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
因为是使用hive连接驱动
在这里插入图片描述
进入HiveConnection会发现调用的是全局时间
在这里插入图片描述
在这里插入图片描述
这样会导致我在其它地方的计算也会变成当前设置的连接时间

3、解决办法

目前解决的办法就是延长总体连接时间(引一发动全身)

注:望读到的大佬有好的解决办法可以讨论一下(不能改变JDBC连接的前提)

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值