python redis连接数过大_请教使用 gunicorn 部署 flask 时遇到的 redis 连接数飙升问题...

最新推荐文章于 2024-04-24 15:15:12 发布

weixin_39687990

最新推荐文章于 2024-04-24 15:15:12 发布

阅读量306

点赞数

文章标签： python redis连接数过大

本文链接：https://blog.csdn.net/weixin_39687990/article/details/111532155

版权

在使用Gunicorn部署Flask应用时遇到Redis连接数异常飙升的问题，通过设置`redis.ConnectionPool`的最大连接数为10，但在请求过程中仍报错‘Too many connections’。这可能是因为每个工作进程都在创建新的连接，导致连接池超出限制。解决方案可能是限制Gunicorn的工作进程数量或者优化Redis连接池的管理。

摘要由CSDN通过智能技术生成

2018-01-08 12:32:03 +08:00

@myyou

如下声明之后，

rdp = redis.ConnectionPool(host='127.0.0.1', port=6379,max_connections=10)

cache = redis.StrictRedis(connection_pool=rdp)

请求过来时会报错：

[2018-01-08 12:06:10,117] ERROR in app: Exception on / [POST]

Traceback (most recent call last):

File "/usr/lib64/python2.7/site-packages/flask/app.py", line 1982, in wsgi_app

response = self.full_dispatch_request()

File "/usr/lib64/python2.7/site-packages/flask/app.py", line 1614, in full_dispatch_request

rv = self.handle_user_exception(e)

File "/usr/lib64/python2.7/site-packages/flask/app.py", line 1517, in handle_user_exception

reraise(exc_type, exc_value, tb)

File "/usr/lib64/python2.7/site-packages/flask/app.py", line 1612, in full_dispatch_request<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_39687990

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

国产化服务环境中使用gunicorn部署Flask应用并配置开机自启

Heartsuit的博客

12-24

943

服务端由第三方部署了一个基于darknet（一个较为轻型的完全基于C与CUDA的开源深度学习框架）的识别算法服务，通过Flask的Web服务对业务服务暴露API接口。作为测试，一开始是直接通过python3 app.py的命令行启动的服务，不过在控制台可以看到以下警告信息：WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.

python redis连接数_redis_py_cluster读取redis遇到too many connections问题

weixin_29898627的博客

12-30

1039

最近项目中需要自己去往redis里面写数据，redis集群读写需要使用到redis_py_cluster这个python包，这中间遇到不少问题，其中就有数据序列化问题，有人使用spark 中的json序列化方式，与python还不兼容，最后是不序列化直接存字符串的方式解决了不同语言之间的兼容问题，但是自己在读写redis的时候遇到了too many connections的错误，字面上就是建立了太...

参与评论您还未登录，请先登录后发表或查看评论

python redis连接数过大_[问题分析]redis客户端连接数过多，大量空闲连接和readonly连接...

weixin_39573136的博客

12-19

1172

问题运维反应redis客户端连接数太多，超过默认最大限制1W。执行命令./redis-cli –h host –p port info clients查看redis客户端连接数，共6个节点每个节点都是2000+分析执行命令./redis-cli –h host –p port client list查看具体连接信息，有大量空闲连接，主节点大量cmd=null，从节点大量cmd=readonly，且...

python redis连接池最大连接数_python redis之连接池的原理

weixin_30660643的博客

01-13

1135

什么是毗邻池通常情况下, 当我们需要做redis操作时, 会建立一个毗邻, 并基于这个毗邻举行redis操作, 操作完成后, 释放毗邻,一样平常情况下, 这是没问题的, 但当并发量比较高的时刻, 频仍的毗邻建立和释放对性能会有较高的影响于是, 毗邻池就发挥作用了毗邻池的原理是, 通过预先建立多个毗邻, 当举行redis操作时, 直接获取已经建立的毗邻举行操作, 而且操作完成后, 不会释放, 用于后...

Python连接Redis-cluster插入1000万条数据详细脚本(二种写法)

YIPIn的博客

10-28

1020

#!/usr/bin/env Python3 import redis import time from time import ctime,sleep from rediscluster import StrictRedisCluster startup_nodes = [ {“host”:“10.1.23.151”, “port”:6379}, # 主 {“host”:“10.1.23.21...

Flask+Nginx+Gunicorn+Redis+Mysql搭建一个小站

mmdev

09-14

347

首先简单介绍一下这几个东东。 Flask是一个轻量级的Web应用框架, 基于Werkzeug和 Jinja2模板引擎，使用Python编写，可扩展强。 Nginx是一个高性能的 HTTP 和反向代理服务器，在高并发方面表现非常不错。 Gunicorn 是一个Python WSGI UNIX的HTTP服务器，从Ruby的独角兽（Unicorn ）项目移植，能与很多Web框架兼容，只需非...

docker-compose-flask：docker-compose部署nginx + gunicorn + flask + redis（或db）

02-05

码头工人组成烧瓶 +-------------+ +------------+ +--------------+ +-----------+ | | | | | | | | | nginx +-------+ gunicorn +---------+ flask app +-----+ redis | | | | | |

docker-flask-celery-redis：Docker-Compose模板，用于使用Redis用Celery队列编排Flask应用

02-05

Docker Flask芹菜Redis 一个基本的模板，用于使用协调应用程序和队列安装 git clone https://github.com/mattkohl/docker-flask-celery-redis 建立并启动 docker-compose up -d --build 启用热代码重载 docker-...

flask-redis-docker：具有redis任务队列的dockerized flask应用程序的最小模板

02-05

Flask-Redis-Docker模板该项目在一个简单的演示应用程序中将，，和连接在一起。它可以用作其他项目的模板，以及有关如何在管理所有功能的同时将Flask与RQ一起使用的介绍。在Web应用程序中，您可以启动长时间...

阿里云centos+flask+gunicorn+nginx上线flask项目运行时报一串虚拟环境里redis的错误

寸草心的博客

02-22

390

解决方案: 查询资料得知是因为服务器没有安装redis 解决安装redis 地址 (https://blog.csdn.net/qq_35531549/article/details/87874095)

Python的Flask框架应用调用Redis队列数据的方法

09-10

里为大家带来Python的Flask框架应用调用Redis队列数据的方法,从而能够实现异步无阻塞从而提高某些实时处理情况下程序的性能,需要的朋友可以参考下

在线聊天的总体架构与工具介绍：Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库

あずにゃん梓喵的博客

07-16

1022

日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.1 在线医生的总体架构学习目标: 了解在线医生项目的总体架构项目整体架构图: 架构图分析: 整个项目分为: 在线部分和离线部分在线部分包括: werobot服务模块, 主要逻辑服务模块, 句子相关模型服务模块, 会话管理模块(redis), 图数据库模块以及规则对话/Unit模块. 离线部分包括: 结构与非结构化数据采集模块, N.

python redis连接数_源码剖析.Python.redis模块儿连接池实现代码剖析?

weixin_42348394的博客

03-01

591

安装方法pip install --upgrade redis代码文件/usr/lib/python2.7/site-packages/redis长短连接短链接客户端向服务端发送请求,服务端收到请求,双方建立连接,客户端给服务端发送消息,服务端回应客户端,然后一次读写就完成了,这时双方任何一个都可以发送关闭请求,不过一般是客户端,短链接管理起来比较方便,存在的连接都是有用的,不需要额外的控制手段长...

Python3操作redis百万级数据迁移，单机到单机，集群到集群

最新发布

zhangpfly的博客

04-24

1206

Python3操作redis大量数据迁移脚本，适用百万数据量以下，各类迁移场景

Python：Flask + Redis 维护代理池

人生苦短，还不用Python？

05-14

737

1.为什么需要维护代理池我们知道很多网站都是由反爬虫的机制的，于是我们就需要对我们的 ip 进行伪装，也是因为这个原因，网上也有很多的免费代理 IP 可以使用,但是这些 ip 质量参差不齐，于是我们就需要对其进行进一步的过滤，所以我们需要自己维护一个自己的好用的代理池，这就是我们这一节的目的，我们使用的 Redis 就是用来存储我们的代理 ip 信息的，flask 主要为我们提供一个方便的调用...

解决Too many connections问题

tone的博客

09-16

3676

现象：当数据库的连接数超过最大连接数时，就会出现Too many connections异常（如下图）。解决方案：一、通过hack的方法，用gdb直接修改mysqld内存中max_connections的值，具体做法如下： 1、平时掌握自己MySQL的pid文件存放位置，正常情况下可以通过如下方法查询： 2、通过执行gdb -p $(cat /usr/local/mysql...

Too many connections解决方案

weixin_30820077的博客

04-15

375

一、原因：my.ini 中设定的并发连接数太少或者系统繁忙导致连接数被占满。连接数超过了 MySQL 设置的值，与 max_connections 和 wait_timeout 都有关。wait_timeout 的值越大，连接的空闲等待就越长，这样就会造成当前连接数越大。二、解决方式：打开 MYSQL 安装目录打开 my.ini 找到 max_connections 默认是 100，一般设...

python redis模块connectionerror_ConnectionError:Error 2连接到Python/Django Redis中的unix套接字...

weixin_39611413的博客

12-15

297

我正在尝试在一个全新的Mac上运行一个django项目。它一直工作到昨天，我不知道发生了什么，但突然间我开始收到Redis错误。在我可以加载不查询数据库的页面，但是一旦我尝试进行搜索(部分依赖于Redis)，它就不起作用了。在有什么想法吗？这是回溯。在Traceback (most recent call last):File "/System/Library/Frameworks/Python....

评价一下，在生产环境中，nginx+flask+SQLAlchemy+其他flask扩展+celery+redis+gunicorn+supervisor+ubuntu22.04怎么样？

05-27

这样的架构在生产环境中是非常常见且可靠的。Nginx作为反向代理服务器，可以提供高性能的负载均衡和静态资源缓存，同时也可以提供一些基本的安全性能。Flask是一个轻量级的Web框架，易于使用且具有强大的可扩展性。SQLAlchemy是一个强大的ORM工具，可以方便地与各种数据库进行交互。Celery和Redis可以用来处理异步任务和队列。Gunicorn是一个可靠的WSGI服务器，可以提供高性能的Web服务。Supervisor可以用来管理进程和服务，确保它们一直在运行。Ubuntu 22.04是一个稳定和经过验证的操作系统，可以提供强大的安全性和可靠性。总的来说，这个架构是非常可靠和高效的，可以用于任何大型生产环境中。