SpringBoot+TDengine定时查询阻塞问题

最近使用TDengine数据库进行数据存储,遇到了一个奇怪的问题: 使用SpringBoot定时器,一小时查询一次数据库,求这一个小时内的平均数据. 数据库有1W+的表,也就是连续查询1W次.定时器开始正常运行,但是运行几天之后, 定时器不运行了!, 所有的数据库查询操作都已经用try catch 进行捕获,但是未输出任何异常!!!,定时器配置了多线程,此后的其他定时器运行,也没有见到这个线程.
TDengine 使用了SpringBoot2.x的默认数据库连接池HikariCP,没有增加其他配置.
但是呢? 在另一个 数据库中, 有几百张表, 定时器一直稳定运行, 因此我考虑是不是因为每次for循环查询1W多次 ,导致数据库无法承受了呢?但是转念一想, TDengine如此受欢迎, 也不至于这样. 算了先试试看.

  • 既然1W次的查询太多了,那就分开做: 将1W张表进行分组, 1百张表一组,分成一百多组, 然后按照一组一组的 查询, 每组查询完毕后睡眠500ms,是不是管用呢?
  • 之前提到用HikariCP默认的连接池,没有其他的配置
spring:
  datasource:
    master:
      jdbc-url: jdbc:TAOS://192.168.1.10:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver
    slave1:
      jdbc-url: jdbc:TAOS://192.168.1.32:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver
    slave2:
      jdbc-url: jdbc:TAOS://192.168.1.33:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver

对 HikariCP不是很熟悉, 换了Druid连接池,做了一些简单的配置

spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    master:
      url: jdbc:TAOS://192.168.1.10:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver
    slave1:
      url: jdbc:TAOS://192.168.1.32:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver
    slave2:
      url: jdbc:TAOS://192.168.1.33:6030/?charset=UTF-8
      username: root
      password: taosdata
      driver-class-name: com.taosdata.jdbc.TSDBDriver
    #druid 数据源专有配置
    druid:
      remove-abandoned-timeout: 180
      initial-size: 10
      min-idle: 5
      max-active: 20
      max-wait: 90000
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
#      validation-query: SELECT 1
#      test-while-idle: true
      test-on-borrow: false
      test-on-return: false
      pool-prepared-statements: true

运行一个月后, 定时器一切正常, 再无阻塞问题出现.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值