python操作mysql数据库cursor导致oom处理方法

最新推荐文章于 2024-07-16 10:47:17 发布
置顶 最新推荐文章于 2024-07-16 10:47:17 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： mysql python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27563511/article/details/80747396
版权
在Python操作MySQL数据库时，使用默认cursor处理大量数据可能导致内存溢出。为解决此问题，可以采用pymysql的SSCursor或SSDictCursor，实现流式游标，逐行读取数据，减少内存占用。但要注意，使用SSCursor时，同一连接只能处理一个查询，且读取数据需在60s内完成，否则会触发连接断开或超时。设置NET_WRITE_TIMEOUT可调整超时时间。
摘要由CSDN通过智能技术生成

    当使用sql查询的结果有非常多行时，如果使用默认的cursor，你的程序在接受数据的的时候很可能卡住或者被杀死，原因是mysql客户端（Java，Pyhton）默认在内存里缓存下所有行然后再处理，如果内存溢出后，你的程序就会被杀死。

解决方式是实用流式游标，在Python中，你可以使用pymysql.cursors.SSCursor（或者SSDictCursor）来解决这个问题


import MySQLdb.cursors

connection=MyS

最低0.47元/天 解锁文章
会不会依然想起我a
关注
专栏目录
chatgpt赋能Python-python_oom
sc17332889342的博客
05-24 163
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
python处理图片oom问题_大图片所引起的内存问题（oom）
weixin_31916045的博客
02-20 955
在我们android开发中，一个应用使用的内存大小是有限制的.在应用中,如果大量的使用bitmap就很可能导致内存溢出的问题。比如我在曾经的一个项目中遇到的问题：要使用Gallery来显示多张不同的图片，在给Gallery的每个Item设置图片的时候，想到Bitmap如果不手动的recycle，系统是不会回收它所在的资源的，因为android为了提高效率，bitmap真正的位图数据是在ndk中用C...
python进程池引发OOM排查
最新发布
柳絮飘扬
07-16 243
最近用进程池做了一个数据分析和预测的项目，里边大量用到了pandas和statsmodels，此外还有matplotlib画图。但是出现了一个问题，我进程池开3个进程，刚开始跑了半天没问题，内存到了6/16G，第二天登陆一看，结果OOM了。由于不知道哪里出现了问题，我猜测要么是在list里边引用了很多对象，导致没法释放，要么就是循环引用了，要么就是资源没有释放。可以看到是每次没有关掉figure对象，所以只需要每次画图完毕之后plt.close(fig)就行。打印进程里边每一个对象的大小情况。
python处理图片oom问题_加载图片OOM问题总结
weixin_34025386的博客
12-24 385
public class PhotoWallAdapter extends ArrayAdapter implementsOnScrollListener {/*** 记录所有正在下载或等待下载的任务。*/private SettaskCollection;/*** 图片缓存技术的核心类，用于缓存所有下载好的图片，在程序内存达到设定值时会将最少最近使用的图片移除掉。*/private LruCac...
python处理图片oom问题_Android 图片加载图片_OOM异常解决
weixin_42418754的博客
02-20 181
Android加载资源图片时，很容易出现OOM的错误。因为Android系统对内存有一个限制，如果超出该限制，就会出现OOM。为了避免这个问题，需要在加载资源时尽量考虑如何节约内存，尽快释放资源等等。Android系统版本对图片加载，回收的影响：1，在Android 2.3以及之后，采用的是并发回收机制，避免在回收内存时的卡顿现象。2，在Android 2.3.3(API Level 10)以及之...
【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless云数据库化繁为简
2301_79651252的博客
09-29 4729
狭义的Serverless分为FaaS和BaaS，基本特点就是无需运维、以API方式提供服务、按实际使用计费、无使用无费用等。举个例子，用户浏览网页，可能涉及CDN资源。如果是静态内容，从对象存储下载照片、视频；如果是动态内容，则触发一个函数计算，云函数将从云数据库获取相应的资源，生成用户所需的动态内容。其中，云函数为FaaS，对象存储和云数据库则为BaaS。
OOM问题预防和排查内存泄漏及解决方法
kuodehai的专栏
02-19 7875
理解了这个算法我们就理解了为啥 MySQL 躺着也能中枪了，因为它的体积总是最大（一般来说它在系统上占用内存最多），所以如果 Out of Memeory (OOM) 的话总是不幸第一个被 kill 掉。 一、什么是OOM，为什么会OOM 二、OOM问题排查 三、OOM问题解决方法
【腾讯云 TDSQL-C Serverless 产品体验】饮水机式使用云数据库
热门推荐
2301_79516858的博客
10-28 1万+
TDSQL-C 是腾讯云自研的新一代云原生关系型数据库。融合了传统数据库、云计算与新硬件技术的优势，100%兼容 MySQL，为用户提供极致弹性、高性能、高可用、高可靠、安全的数据库服务。实现超百万 QPS 的高吞吐、PB 级海量分布式智能存储、Serverless 秒级伸缩，助力企业加速完成数字化转型。Serverless 服务是腾讯云自研的新一代云原生关系型数据库 TDSQL-C MySQL 版的无服务器架构版，是全 Serverless 架构的云原生数据库。
中秋献礼｜Apache ShardingSphere 5.2.0 发布
ShardingSphere官微
09-09 1329
Apache ShardingSphere 自 6 月底发布 5.1.2 版本以来，历时两个多月，社区持续优化和增强功能，共合并了来自全球的团队和个人累计 1728 个 PR，为大家带来了全面增强的 5.2.0 版本，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。此外，shardingsphere-on-cloud 子项目仓库的建立，也标志着 ShardingSphere 云原生的...
解决python读取几千万行的大表内存问题
12-25
Python导数据的时候，需要在一个大表上读取很大的结果集。 如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出 解决的方法： 1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。) 2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。 import MySQLdb.cursors conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
【性能调优】Python集成Java的服务OOM问题分析经历
sysu_lluozh
12-07 1236
一、问题背景 在一个遍历服务中，同时运行5个设备执行遍历任务时，快速出现如下错误 容器ExitCode ：137, 原因：OOMKilled 该服务是通过python程序唤起执行Java任务 二、资源占用 既然是OOM，先看一下服务的资源占用 发现系统中总内存使用较低，且python和Java进程的内存使用不高，那为什么会出现OOM的情况呢？ 注：其实这里查看的是整个服务器的内存占用，该服务器内容总共25G，所以内存占用不高 三、python内存分析 使用memory_profiler分析python的
OOM ResourceExhaustedError in Python when allocating tensor
jingbo18的博客
05-11 2900
使用keras库进行模型训练时，出现以下错误：出现这种错误的原因时超出内存了，适当减小batch_size的大小即可解决。下面是stackoverflow对这个问题的描述与解决：https://stackoverflow.com/questions/41241571/resourceexhaustederror-in-python-when-allocating-tensor...
闲聊OOM
运维Linux和python
07-09 716
序言 失败才有借鉴意义，成功的路只有一条，而失败的原因千千万，从失败中才能看到更多的东西。说者无意，听者有心，打人不打脸，不可能。。。还好，我朋友越来越多，...
golang/python 下载大文件时怎样避免oom
weixin_42847874的博客
02-23 374
问题场景：高频系统中，agent 会向ATS 服务器发出刷新和预缓存的请求，这里的请求head 里面有GET ，PURGE等，因为一般的预缓存都是小文件，但是某天，突然服务器oom。。。罪魁祸首发现是并发GET 大文件将服务器打死了。第一个版本是python 的，第二个版本是golan...
python读取千万级数据库数据类型_使用python遍历mysql中有千万行数据的大表
weixin_39618173的博客
11-21 641
最近工作中遇到了一个问题：将mysql的数据同步到elasticsearch中，现在有很多方案， logstash-jdbc ， elasticsearch-jdbc ， go-mysql-elasticsearch，本来原来是使用logstash-jdbc的，但是由于其配置文件是基于ruby语法的，导致遇到问题需要查很多资料，加上logstash调试困难（很可能是我用的姿势不对。。。），所以决定...
python中cursor的意义_python – 显式的cursor.close()的必要性
weixin_42306699的博客
03-01 2400
.__del __ /关闭()：> __del__不能保证被调用>一些数据库不会在__del__(不好的做法,但真实)中调用cursor.close()>一些数据库实际上并没有在连接功能中创建连接,而是在游标功能中(例如,对于2& 3：pyhive的presto [也许他们已经打补丁了]一般服务器连接大多数服务器具有空闲超时配置属性(我们称之为T).如果连接空闲超过T秒,...
python的out of memory问题
u010271717的专栏
12-26 6968
折腾了一整天又换电脑又重装系统重装各种软件插件  最后发现out of memory只是因为少写了一行代码  内心的崩溃无法用语言形容  虽然本来是乌龙一场 但是这个过程中解决问题get一些新技能  也不能说完全没有收获【一个大写的心理安慰】 开始我的4G小笔记本out of memory之后，我换了一个32G内存的电脑  各种重装系统折腾半天好不容易都装好了程序可
解决MySQL Slave节点内存泄漏导致OOM问题
"这篇文章主要探讨了数据库服务器中的Slave内存泄漏问题，导致触发了操作系统的OOM (Out of Memory)杀手机制，从而影响了MySQL服务的稳定运行。问题出现在具有80GB InnoDB缓冲池设置的主从复制环境中，尽管Slave...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值