scala版本的redis连接个数超过上限

最新推荐文章于 2024-09-01 08:50:54 发布

千淘万漉

最新推荐文章于 2024-09-01 08:50:54 发布

阅读量634

点赞数

分类专栏：云计算/大数据文章标签： jedis scala redis_client 连接不释放连接池

本文链接：https://blog.csdn.net/matrix_google/article/details/89572629

版权

本文讲述了作者在Scala项目中遇到的Redis连接池问题，当使用`redis_client`时，连接数超过上限。通过尝试使用jedis 2.9.x版本并确保每个连接在finally块中释放，最终解决了连接不释放的问题，使连接数稳定在Flink的槽位数24个。

摘要由CSDN通过智能技术生成

被redis连接池折磨有三天了，每次压测三个小时后在凌晨两点被运维通知，连接数超过上限

用redis-cli命令连上redis, 输入info命令，看到连接数高达一万，真特么吓人，正常来说二十几个是正常的

我用flink的24slots消费kafka的24个分区，正常来说就是24个左右

如果着急找解决方案，直接看最后的代码就可以了

交代下项目背景

项目是用flink消费kafka中的实时流，单条逐条处理，输出结果写会kafka, 在单条处理过程中会操作redis，包括读，写，exists, 设置超时时间

整个项目是scala做的

业务是广告业务的实时计费

先贴上现在的代码，没有用jedis，因为所有函数的写法差不多，主要是try…catch…finally中的代码块，所以就粘贴一个get方法

import com.redis.RedisClientPool
object RedisUtil {
  var propMap: Map[String, String] = LoadProperties.loadProperties()
  implicit val clients = new RedisClientPool(propMap("redis.host"), 
  propMap("redis.port").toInt,
    database = propMap("redis.db").toInt, secret = propMap.get("redis.auth"), 
  maxConnections = 100, maxIdle = 30)

def g