pymysql的连接池实现

最新推荐文章于 2024-07-26 11:23:10 发布
最新推荐文章于 2024-07-26 11:23:10 发布
阅读量1.1w 收藏 7
点赞数 1
分类专栏： Python 文章标签： pymysql连接池 pymysql多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kai404/article/details/78900220
版权
本文介绍了在多线程环境下，如何利用pymysql建立连接池以避免频繁的‘连接-登录-退出’操作。通过创建一个基于pymysql的连接池模块，包括Connection类（扩展了pymysql的连接类）和ConnectionPool类，实现了线程间共享连接，提高性能和资源利用率。详细代码和项目可在github找到。
摘要由CSDN通过智能技术生成

在使用pymysql作为MySQL驱动时，在多线程模型下，如果我们没有为每个线程创建一个单独的连接的话，就会遇到下列错误

pymysql.err.InternalError: Packet sequence number wrong - got 0 expected 1

这是因为pymysql的threadsafety级别为 1: Threads may share the module, but not connections.

但是为每个线程创建单独的连接的话，如果任务量比较大同时使用线程池的场景下，会造成client和MySQL server之间的频繁“连接-登录-退出”，这显然是不优雅的。所以我们需要一个“连接池”，以达到client和MySQL之间只需维持较少的连接，即可完成任务的效果。

笔者实现了一个基于pymysql的连接池模块pymysql_pool，包含两个类

  • pymysql_pool.Connection类，继承自pymysql.connections.Connection类，在保证使用方法一致的前提下，增加了对连接池的维护

  • pymysql_pool.ConnectionPool类，代表连接池，其中包含指定数目的pymysql_pool.Connection对象。这里的pymysql

最低0.47元/天 解锁文章
kaifly
关注
专栏目录
07-17未解决问题之----二
weixin_46400833的博客
07-17 368
二、Python之pandas读取数据库的数据时连接数据库 失败 报错如下： InternalError: (pymysql.err.InternalError) Packet sequence number wrong - got 1 expected 0 (Background on this error at: http://sqlalche.me/e/2j85) 待后续处理！！！ ...
pymysql多线程读写数据库报错：Packet sequence number wrong
走在搬砖的路上！
02-09 6232
【BUG】pymysql多线程读写数据库报错：Packet sequence number wrong ： 由于换了24核的服务器，因此在录入爬取的气象数据的时候想使用多线程，于是自学多线程Python的写法，中间就遇到了这个错误：Packet sequence number wrong 这是因为多线程共享了同一个数据库连接，但每个execute前没有加上互斥锁，解决方法如下： 方法一：每个execute前加上互斥锁 lock.acquire() cursor.execute(command,data)
基于 pymysql 和 DBUtils 实现mysql连接池
最新发布
go|Python的个人博客
07-26 203
备个份，用在celery 定时任务中，未使用orm框架的情况下，使用原生sql去操作mysql 的方案。
创新实训——011
我就是这样的自己的博客
07-01 1089
下面介绍在写后端程序时遇到的问题。 后端我使用的是flask，有关flask的基本使用（请求和websocket）在第三篇文章中已经介绍过了，下面介绍一些问题及解决办法。 pymysql.err.InternalError: Packet sequence number wrong - got 1 expected 2 这里要注意，在将后端部署时有可能会报pymysql.err.InternalError: Packet sequence number wrong - got 1 expected 2错误，
SQLAlchemy 报错：Packet sequence number wrong 问题的一种可能性及解决方法
hansenzz的博客
03-03 2305
SQLAlchemy 关于 Packet sequence number wrong 的报错
【mysql】pymysql.err.InterfaceError Interface Error: (0, ‘‘)
xdreamman的博客
07-08 536
Packet sequence number wrong - got 7 expected 2（数据包序列号错误） 经过排查，是因为我多线程 采用的是单例的数据库连接，导致抢占，抛出的异常。 解决方案是，取消单例，每个线程实例化。
Python-pymysql连接池
08-10
下面是一个简单的pymysql连接池实现示例： ```python import queue import pymysql class PooledDB: def __init__(self, maxconnections, **kwargs): self.pool = queue.Queue(maxconnections) for _ in range...
Python MySQL数据库连接池组件pymysqlpool详解
09-09
Python中的pymysqlpool是一个专为MySQL数据库设计的连接池组件，它可以帮助开发者更有效地管理和复用数据库连接，从而提高程序的性能和资源利用率。在多线程环境中，pymysqlpool提供了线程安全的连接池，避免了频繁...
pymysql连接池
06-03
pymysql连接池可以通过将已经建立好的连接存入一个池子中，当有新的请求来临时，直接从池子中获取连接，这样就避免了频繁创建、断开连接，从而提高了程序的性能。同时，连接池还可以设置最大连接数和最小连接数，当...
安装pymysql 连接池
06-02
好的，下面是安装pymysql连接池的步骤： 1. 首先，确保你已经安装了pymysql模块。如果没有安装，可以使用以下命令进行安装： ```python pip install pymysql ``` 2. 接下来，安装pymysql连接池模块。可以使用以下...
pymysql 连接池
06-02
使用 `pymysql` 连接池可以有效地缓解数据库连接资源的压力，提高程序的性能。 下面是一个使用 `pymysql` 连接池的示例代码： ```python import pymysql from pymysql import cursors from DBUtils.PooledDB ...
pymysql 与 sqlalchemy多线程访问数据库问题
zslngu的博客
07-15 3092
pymysql 多线程访问数据库 sql = 'insert into novel_book(provide_name, start_url, state) values(%s, %s, %s)' def pymysql_task(sql_pattern): cursor = conn.cursor() cursor.execute(sql_pattern, ("test", ...
使用pymysql报错：pymysql.err.InternalError: Packet sequence number wrong - got 5 expected 1
锅炉房刘大爷的博客
04-20 1万+
环境：Python 3.8.5 在使用pymysql去数据库查询数据时，出现了如下错误： Exception ignored in: <function MysqlPoolClient.__del__ at 0x000001107810DC10> Traceback (most recent call last): File "E:\test\work\myspider\utils\mysql_pool.py", line 39, in __del__ self.dispose
python pymysql 多线程 读写数据库 报错 Packet sequence number wrong
whatday的专栏
11-22 7522
多线程连接数据，提交增改查请求，爆出Packet sequence number wrong - got 7 expected 2（数据包序列号错误） 原因：这是因为多线程共享了同一个数据库连接，但每个execute前没有加上互斥锁 方法一： 每个execute前加上互斥锁 lock.acquire() cursor.execute(command,data) lock.release() 方法二： 每个线程拥有自己的数据库连接，即在线程调用函数中加上数据库连接代码 方法三： 所有线程共用一个
pymysql.err.InternalError: (1130, "Host '192.168.198.1' is not allowed to connect to this MySQL serv
任我行的博客
07-06 3949
~/workspace/python/bbs  python manage.py db migrate  1 ↵ Tra...
sqlalchemy.exc.InternalError: (pymysql.err.InternalError) Packet sequence number wrong - got 40 expe
weixin_44493841的博客
01-14 1596
sqlalchemy.exc.InternalError: (pymysql.err.InternalError) Packet sequence number wrong - got 40 expected 1 解决办法 多创建几个Session来增删改查，就可以了 # base.py engine = create_engine( get_db_str(), echo=False, pool_recycle=300, poolclass=QueuePool, po
pymysql.err.InternalError python爬虫遇到这个问题
Maxwell_321的博客
06-25 1149
pymysql.err.InternalError: (1054, “Unknown column ‘text’ in ‘field list’”)python爬虫遇到这个问题 刚开始是出现这个错误，上网搜了一下说要把 sql = “insert into class (name,text)values(%s,%s)” %去掉， 去掉之后又报下面这个错误 然后回去看这个错误， pymysql.err.InternalError: (1054, “Unknown column ‘text’ in ‘fiel
django.db.utils.InternalError: Packet sequence number wrong - got 1 expected 2
qq_41663800的博客
04-24 2323
问题描述 部署django项目的时候，出现这样的错误，原因是用了mysql数据库且用的原生的sql语句而不是ORM模型，这里注意游标的创建的线程问题。报错如下： django.db.utils.InternalError: Packet sequence number wrong - got 1 expected 2 参考了一篇文章的评论：https://bbs.csdn.net/topics/392264802 解决 推荐每一个函数都拥有一个游标，变量设置为局部变量。 也可以设置锁（不推荐），因为设置成锁
pymysql.err.InterfaceError: (0, '')解决办法
热门推荐
Catastrophe
06-08 2万+
背景 在使用手机模拟器抓取数据时，通过mitmproxy进行返回数据的解析存储。 因为不清楚mitmproxy在设置脚本后是一次开启还是每次请求都会运行一次，所以在脚本里直接开启了数据库连接并没有关闭。 写好脚本后，在爬取过程中，时间过久后会报错pymysql.err.InterfaceError: (0, ”) 在response方法里关闭数据库也没有什么用，甚至存不进数据库。 解决 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值