"""
使用 SSCursor (流式游标) 解决 Python 使用 pymysql 查询大量数据导致内存使用过高的问题
Python 导数据的时候,需要在一个大表上读取很大的结果集。
如果用传统的 fetchall() 或 fetchone() 方法,都是先默认在内存里缓存下所有行然后再处理,
大量的数据会导致内存资源消耗光,内存容易溢出。
解决的方法:
使用 SSCursor (流式游标),避免客户端占用大量内存。(这个 cursor 实际上没有缓存下来任何数据,
它不会读取所有所有到内存中,它的做法是从储存块中读取记录,并且一条一条返回给你。)
使用迭代器而不用 fetchall ,即省内存又能很快拿到数据。
"""
import pymysql
from pymysql.cursors import SSDictCursor #SSDictCursor,一个没有缓冲的游标,它以字典的形式返回结果
class Database:
def __init__(self):
self.conn = pymysql.connect('10.10.10.188', 'root', '', 'wwwbbboos3.5', charset='utf8')
self.cursor = self.conn.cursor() # 默认游标类型返回的数据为:((),(),())
# self.cursor = self.conn.cursor(SSDictCursor)
#查询全部信息
def query_all(self, sql):
self.cursor.execute(sql)
return self.cursor.fetchall()
#查询单条信息
def query_one(self, sql):
self.cursor.execute(sql)
return self.cursor.fetchone()
#查询多条
def query_many(self, sql, size):
self.cursor.execute(sql)
return self.cursor.fetchmany(size)
连接Mysql--查询信息做断言
最新推荐文章于 2024-04-28 14:22:12 发布