python redis连接数过大_Python中使用Redis遭遇Too many open files

文章讲述了在Python应用中遇到Redis连接数过多的问题,导致`Too many open files`异常。作者通过调整系统配置和优化代码实现连接池复用,解决了该问题。分析发现,每次创建`StrictRedis`时都会生成新的`ConnectionPool`,进而造成过多的文件描述符。解决方案是先创建一个`ConnectionPool`,然后在创建Redis实例时指定连接池,以减少未释放的连接。
摘要由CSDN通过智能技术生成

今天服务突然爆出好多异常日志:

ConnectionError: Error 24 connecting to 127.0.0.1:6379. Too many open files.

通过命令cat /proc/(redis-sever_PID)/limits获得

Max open files 4016 4016 files

第一反应是觉得可能4016过小,所以需要对其升值。

编辑/etc/sysctl.conf 添加如下内容:

fs.file-max = 65535

运行sysctl -p

再编辑 /etc/security/limits.conf:

root soft nofile 65536

root hard nofile 65536

* soft nofile 65536

* hard nofile 65536

使用命令ulimit -n 65535,将最大文件数提高至65535,这种修改只是在当前shell中生效,想要真正对Redis中Max open files进行修改,就需要在当前shell中进行重启redis,然后服务就恢复了正常。这种方法其实是治标不治本的

在临时解决异常问题后,需要思考为什么会有这么多未释放的连接。

经过分析,在创建Redis连接时,都会创建一个ConnectionPool。这导致,每获取一个StrictRedis时,都会创建一个新的ConnectionPool,这才是导致文件数过多的原因。

解决方案:

先创建创建一个ConnectionPool

pool = redis.ConnectionPool(host=

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值