最近使用TDengine数据库进行数据存储,遇到了一个奇怪的问题: 使用SpringBoot定时器,一小时查询一次数据库,求这一个小时内的平均数据. 数据库有1W+的表,也就是连续查询1W次.定时器开始正常运行,但是运行几天之后, 定时器不运行了!, 所有的数据库查询操作都已经用try catch 进行捕获,但是未输出任何异常!!!,定时器配置了多线程,此后的其他定时器运行,也没有见到这个线程.
TDengine 使用了SpringBoot2.x的默认数据库连接池HikariCP,没有增加其他配置.
但是呢? 在另一个 数据库中, 有几百张表, 定时器一直稳定运行, 因此我考虑是不是因为每次for循环查询1W多次 ,导致数据库无法承受了呢?但是转念一想, TDengine如此受欢迎, 也不至于这样. 算了先试试看.
- 既然1W次的查询太多了,那就分开做: 将1W张表进行分组, 1百张表一组,分成一百多组, 然后按照一组一组的 查询, 每组查询完毕后睡眠500ms,是不是管用呢?
- 之前提到用HikariCP默认的连接池,没有其他的配置
spring:
datasource:
master:
jdbc-url: jdbc:TAOS://192.168.1.10:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
slave1:
jdbc-url: jdbc:TAOS://192.168.1.32:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
slave2:
jdbc-url: jdbc:TAOS://192.168.1.33:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
对 HikariCP不是很熟悉, 换了Druid连接池,做了一些简单的配置
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
master:
url: jdbc:TAOS://192.168.1.10:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
slave1:
url: jdbc:TAOS://192.168.1.32:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
slave2:
url: jdbc:TAOS://192.168.1.33:6030/?charset=UTF-8
username: root
password: taosdata
driver-class-name: com.taosdata.jdbc.TSDBDriver
#druid 数据源专有配置
druid:
remove-abandoned-timeout: 180
initial-size: 10
min-idle: 5
max-active: 20
max-wait: 90000
time-between-eviction-runs-millis: 60000
min-evictable-idle-time-millis: 300000
# validation-query: SELECT 1
# test-while-idle: true
test-on-borrow: false
test-on-return: false
pool-prepared-statements: true
运行一个月后, 定时器一切正常, 再无阻塞问题出现.