由于项目需要使用Redis内存数据库,数据库使用到没什么,只是中间出现了一个小插曲,现在对其排查过程进行总结,希望对遇到相同问题的人有所帮助。
背景:
项目并发量非常高,客户端使用Jedis,每个请求都会从Jedis链接池(JedisPool)中获取Jedis链接,通过Jedis链接对象,操作Redis数据库中的数据,Redis服务端连接不释放,一直增长,无论线程池调多大,随着时间的推移都会被占满,百思不得其解;
开发环境搭建:
1、引入redis的客户端Jar包;
redis有多种客户端,本项目中所采用的是Jedis作为客户端,使用Maven对项目进行管理,下面是Jedis客户端jar包在Maven中依赖配置:
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.6.0</version> </dependency>
2、将Jedis客户端与Spring框架相结合,配置文件如下:
<!-- 定义加载资源文件 --> <context:property-placeholder location="classpath:redis.properties" ignore-unresolvable="true" /> <!-- 对象资源池初始化配置 --> <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <property name="maxTotal" value="${redis.pool.maxTotal}"/> <property name="maxIdle" value="${redis.pool.maxIdle}" /> <property name="minIdle" value="${redis.pool.minIdle}"/> <property name="maxWaitMillis" value="${redis.pool.maxWaitMillis}"/> <property name="testOnBorrow" value="${redis.pool.testOnBorrow}" /> <property name="testOnReturn" value="${redis.pool.testOnReturn}" /> <property name="testWhileIdle" value="${redis.pool.testWhileIdle}" /> <property name="numTestsPerEvictionRun" value="${redis.pool.numTestsPerEvictionRun}" /> <property name="timeBetweenEvictionRunsMillis" value="${redis.pool.timeBetweenEvictionRunsMillis}" /> </bean> <!-- redis 单机资源池 --> <bean id="jedisPool" class="redis.clients.jedis.JedisPool" scope="singleton" lazy-init="true" > <constructor-arg index="0" ref="jedisPoolConfig" /> <constructor-arg index="1" value="${redis.ip}" /> <constructor-arg index="2" value="${redis.port}" type="int" /> <constructor-arg index="3" value="${redis.timeout}" type="int" /> </bean>
redis.properties文件的配置如下:
#最大活动对象数 redis.pool.maxTotal=1000 #最大能够保持idel状态的对象数 redis.pool.maxIdle=100 #最小能够保持idel状态的对象数 redis.pool.minIdle=50 #当池内没有返回对象时,最大等待时间 redis.pool.maxWaitMillis=10000 #当调用borrow Object方法时,是否进行有效性检查 redis.pool.testOnBorrow=true #当调用return Object方法时,是否进行有效性检查 redis.pool.testOnReturn=true #“空闲链接”检测线程,检测的周期,毫秒数。如果为负值,表示不运行“检测线程”。默认为-1. redis.pool.timeBetweenEvictionRunsMillis=30000 #向调用者输出“链接”对象时,是否检测它的空闲超时; redis.pool.testWhileIdle=true # 对于“空闲链接”检测线程而言,每次检测的链接资源的个数。默认为3. redis.pool.numTestsPerEvictionRun=50 #redis服务器的IP redis.ip=xxxxxx #redis服务器的Port redis1.port=6379
3、写了一个工具类获取Jedis资源与释放Jedis资源,代码如下:
@Service
public class JedisUtils {
private static Log logger = LogFactory.getLog(JedisUtils.class);
/**
* 自动注入Redis连接实例对象线程池
*/
@Autowired
private JedisPool jedisPool;
/**
* 获取Jedis对象
* @return
*/
public synchronized Jedis getJedis(){
Jedis jedis = null;
if(jedisPool != null){
try{
if(jedis == null ){
jedis = jedisPool.getResource();
}
}catch(Exception e){
logger.error(e.getMessage(),e);
}
}
return jedis;
}
/**
* 回收Jedis对象资源
* @param jedis
*/
public synchronized void returnResource(Jedis jedis){
if(jedis != null){
jedisPool.returnResource(jedis);
}
}
/**
* Jedis对象出异常的时候,回收Jedis对象资源
* @param jedis
*/
public synchronized void returnBrokenResource(Jedis jedis){
if(jedis != null){
jedisPool.returnBrokenResource(jedis);
}
}
}
4、业务中使用Jedis相关代码:
public synchronized boolean offer(WarnMessage message) throws NullPointerException,
IllegalArgumentException {
boolean addFlag = false;
String messageQueueName = getMessageQueueName();
checkKey(messageQueueName);
if(message == null){
throw new NullPointerException("数据列表不存在");
}
Jedis jedis = jedisUtils.getJedis();
if(jedis == null){
throw new NullPointerException("Jedis is Null");
}
try{
long queueCurrValue = jedis.llen(messageQueueName);
if(queueCurrValue >= queueMaxSize){
return addFlag;
}
String serizlizetValue = JSON.toJSONString(message);
if(StringUtils.isNotBlank(serizlizetValue)){
long queueLength = jedis.lpush(messageQueueName, serizlizetValue);
if(queueLength - queueCurrValue > 0){
addFlag = true;
}
}
}catch(Exception e){
jedisUtils.returnBrokenResource(jedis);
logger.error(e.getMessage(), e);
}finally{
jedisUtils.returnResource(jedis);
}
return addFlag;
}
以上是整个项目对Jedis正常使用配置的情况,是问题修改后能够正常运行的代码,当时redis服务端链接不释放的原因是,通过
Jedis jedis = jedisUtils.getJedis();
获取了Jedis这段代码写在了如下代码之前,这样生产环境中若真不存在数据,链接建立了,抛出了异常,但是Jedis链接释放的代码没有得到执行,这样每次使用offer方法,没有数据,就会创建一个jedis链接,直到将链接池撑满报错为止,Jedis链接不会像数据库那样自动回收链接到池中,只能手动的回收释放,希望大家在写代码的时候注意,这些细节。
if(message == null){
throw new NullPointerException("数据列表不存在");
}