pymysql.cursors.SSCursor 报错 Previous unbuffered result was left incomplete

读取大数据量时,使用 SSCursor (流式游标) 解决 Python 使用 pymysql 查询大量数据导致内存使用过高的问题

如果用传统的 fetchall() 或 fetchone() 方法,都是先默认在内存里缓存下所有行然后再处理,大量的数据会导致内存资源消耗光,内存容易溢出。

使用 SSCursor (流式游标),避免客户端占用大量内存。(这个 cursor 实际上没有缓存下来任何数据,它不会读取所有所有到内存中,它的做法是从储存块中读取记录,并且一条一条返回给你。)

使用迭代器而不用 fetchall ,即省内存又能很快拿到数据。

重点注意

因为 SSCursor 是没有缓存的游标,结果集只要没取完,这个 conn 是不能再处理别的 sql,包括另外生成一个 cursor 也不行的。如果需要干别的,请另外再生成一个连接对象。

每次读取后处理数据要快,不能超过 60 s,否则 mysql 将会断开这次连接,也可以修改 SET NET_WRITE_TIMEOUT = xx 来增加超时间隔。

**报错 userwarning:previous unbuffered result was left incomplete警告警告(“previous unbuffered result was left incomplete”)python **

以前的未缓冲结果是不完整的 这只是警告,你不必当真。 

根本原因是你正在使用

cursorclass=pymysql.cursors.SSCursor

执行其他sql语句,必须 重新建立 连接数据库,不能使用当前连接

流式游标使用方法

import pymysql

# 打开数据库连接
conn = pymysql.connect(
    host='127.0.0.1',
    db = "c",
    port=3306,
    user='root',
    passwd='123456',
    charset = 'utf8'
    # cursorclass=pymysql.cursors.DictCursor, # dict 入库
    # cursorclass=pymysql.cursors.SSDictCursor # 流式游标
)

sql = 'SELECT id FROM c ;'
      cursor = conn.cursor(pymysql.cursors.SSDictCursor)#这里改游标类型了!!!!!!!
      # cursor = conn.cursor(pymysql.cursors.SSCursor)#这里改游标类型了!!!!!!!
      # cursor = conn.cursor() #普通游标
      cursor.execute(sql)
      while True:
          row = cursor.fetchone()
          if not row:
              break
          print(row)
          keywords = row['believe_code']
          # 更新经纬度
          up_sql = "UPDATE `c` SET l = '37',n = '114' WHERE id = '21'"
          try:
              cur = conn_update.cursor()
              cur.execute(up_sql)
              conn_update.commit()
              cur.close()
          except:
              print('失败-更新经纬度')
              conn_update.rollback()
      # 关闭游标
      cursor.close()
      # 关闭数据库连接
      conn.close()
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值