Python 讨厌的MemoryError

最新推荐文章于 2024-08-19 19:00:08 发布

壹夜知秋

最新推荐文章于 2024-08-19 19:00:08 发布

阅读量5.1w

点赞数 3

分类专栏： python 学习笔记

本文链接：https://blog.csdn.net/w_zhongke/article/details/44807889

版权

python 学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

在用Python处理大数据时，本来16G的内存，内存还没使用四分之一就开始报MemoryError的错误，后来才知道32bit的Python使用内存超过2G之后，就报这个错误，还没有其他的提示消息。果断换64bit的Python。

一开始安装32bit的Python，是因为numpy和scipy官方版本只支持32bit的，后来又找到了非官方的版本http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy

wheel文件安装时出现：Fatal error in launcher: Unable to create process using '“”C:\Program Files (x86)\Python33\python.exe“” “C:\Program Files (x86)\Python33\pip.exe”

在http://stackoverflow.com/questions/24627525/fatal-error-in-launcher-unable-to-create-process-using-c-program-files-x86上找到解决方法：

	python -m pip install XXX

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

壹夜知秋

关注关注

3
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

常见的 GC 算法介绍（Parallel/CMS/G1）：温故而知新

KimmKing的技术博客

09-22

1733

GC 是英文词汇 Garbage Collection 的缩写，中文一般直译为“垃圾收集”。当然有时候为了让文字更流畅，也会说“垃圾回收”。一般认为“垃圾回收”和“垃圾收集”是同样的意思。此外，GC 也有“垃圾收集器”的意思，英文表述为 Garbage Collector。本节我们就来详细讲解常用的 GC 算法。闲话 GC 假如我们做生意，需要仓库来存放物资。如果所有仓库都需要公司自建，那成本...

数据挖掘工程师是做什么的？

Nieson2012的专栏

08-09

6261

数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

1 条评论您还未登录，请先登录后发表或查看评论

详解解决Python memory error的问题（四种解决方案）

09-18

主要介绍了详解解决Python memory error的问题（四种解决方案），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

解决Python memory error的问题（四种解决方案）

最新发布

qq_34419312的博客

08-19

3111

Python内存管理：常见报错处理

解决Python中出现的Memory Error的问题

weixin_36976645的博客

10-15

1万+

最近刚刚学习Python，用的软件是PyCharm。在手打了一个基于物品的推荐算法，并且跑一个20000+的数据集时，出现了Memory Error错误。一开始以为是代码问题，后面才发现自己的内存已经到达了80%+了。查阅相关资料，这个大哥写的很不错，大家可以去看看。 l解决Python memory error的问题（四种解决方案）. 这是我自己出现的问题我分析了一下出现这个错误的原因： 1....

python 32位 memory error问题

Cmmmmm丶的博客

01-03

233

32 python最大可分配内存为2G，重新卸载安装64位python即可解决问题

python Memory Error的解决方法

qq_36151472的博客

10-31

2万+

在用python处理数据处理的时候有时候会碰到较大的数据集，可能会出现Memory Error 的问题，经过我的尝试，总结如下几个方案： 1. 修改数据类型的长度修改数据类型的长度，可以对数据进行内存压缩，从而减少内存的占用。 import time # 对数据进行内存压缩 def reduce_mem_usage(df): starttime = time.time() numerics = ['int16', 'int32', 'int64', 'float16', 'floa

Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy

ronon77的专栏

09-18

391

一、 Memcached Memcached安装和基本使用 Python操作Memcached2.1 set2.2 集群操作2.3 add2.4 replace2.5 set 和 set_multi2.6 delete 和 delete_multi2.7 get 和 get_multi2.8 append 和 prepend2.9 decr 和 incr　　2.10 get...

pyspark使用流程以及遇到的问题（windows版）

OWBY_Phantomhive的博客

03-23

7529

本文所使用方式为在windows独立环境中进行pyspark的开发，如需链接hdfs还是要借助虚拟机的，主要包含以下几个步骤一、windows中的环境配置 1、java的安装这里建议大家选择版本较低的java版本，如果版本较高可能会出现不兼容问题，Java和hadoop的安装流程我之前的文章里面有，大家可以看一下，这里附上链接 hadoop安装 2、hadoop的安装 hadoop安装链接同上 3、scala的安装先下载scala的压缩包,依然是官网地址,建议2.11的版本,因为后续我们使用的s

Pytorch学习

咬树羊的博客

03-17

981

pytorch

【Python】已解决：MemoryError

屿小夏.的知识博客

07-12

1011

是 Python 中常见的错误，通常在程序尝试分配更多的内存时发生，而可用内存不足。这个问题多见于处理大型数据集、生成庞大列表或数组、或者进行大量并发操作的场景中。通过使用生成器和分批处理，我们有效地降低了内存使用，避免了。报错问题，确保程序在处理大数据时能够高效稳定运行。通过以上方法和注意事项，可以有效避免和解决。当我们运行这段代码时，可能会遇到。已解决：MemoryError。

Bluehost 主机部署Django网站时MemoryError at / No exception supplied问题及解决方案

The Rhythm Of Code

05-07

2783

MemoryError at / No exception supplied Request Method: GET Request URL: http://www.kumo.kumoplus.co/ Django Version: 1.5.4 Exception Type: MemoryError Exception Locatio

已解决Python报错Memoryerror的正确解决方法，亲测有效

PythonAigc的博客

04-28

2364

MemoryError 通常表明你的程序试图使用的内存超过了可用内存的限制。这可能是由于你的程序本身的设计问题，也可能是因为你的运行环境（例如，服务器或本地计算机）的内存资源有限。报错原因大数据集：如果你正在处理大型文件或数据集（例如，大型图像、视频文件或数据库），并且一次性将它们加载到内存中，这可能导致内存不足。内存泄漏：如果你的程序创建了很多对象，但没有正确地释放它们（例如，忘记关闭文件句柄或数据库连接），这些对象会占用内存，导致内存泄漏。递归调用过深：过深的递归调用可能导致栈溢出，间接导致内

Python Django实现MySQL百万、千万级的数据量下载：解决memoryerror、nginx time out

weixin_42681866的博客

06-25

2571

前文在用Django写项目的时候时常需要提供文件下载的功能，而Django也是贴心提供了几种方法：FileResponse、StreamingHttpResponse、HttpResponse，其中FileResponse和StreamingHttpResponse都是使用迭代器迭代生成数据的方法，所以适合传输文件比较大的情况， ...

python是不是特别垃圾-深度解析Python垃圾回收机制（超级详细）

weixin_37988176的博客

11-01

208

我们知道，目前的计算机都采用的是图灵机架构，其本质就是用一条无限长的纸带，对应今天的存储器。随后在工程学的推演中，逐渐出现了寄存器、易失性存储器（内存）以及永久性存储器（硬盘）等产品。由于不同的存储器，其速度越快，单位价格也就越昂贵，因此，妥善利用好每一寸告诉存储器的空间，永远是系统设计的一个核心。Python 程序在运行时，需要在内存中开辟出一块空间，用于存放运行时产生的临时变量，计算完成后，再...

【已解决】Python MemoryError的问题

Effotzjw_小白慢慢踏全栈

09-21

4万+

1、打开pycharm安装目录D:\PyCharm Community Edition 2019.2\bin，找到pycharm.exe.vmoptions文件，编辑源文件： -Xms128m -Xmx768m -XX:ReservedCodeCacheSize=240m -XX:+UseConcMarkSweepGC -XX:SoftRefLRUPolicyMSPerMB=50 -ea -XX:CICompilerCount=2 -Dsun.io.useCanonPrefixCache=false -D

解决Python报错MemoryError的问题

qq_44723773的博客

09-16

3240

Python 32bit 最大只能使用2G内存，坑爹之处，超过2G报错MemoryError。如果遇到这种问题，可以先检查自己安装的Python是32bit，还是64bit。而64bit Python则无此限制，所以建议使用 64bit Python。今天在处理一个2G的大数据文本文件时，出现了MemoryError的错误。

python报错memoryerror

06-28

### 回答1： Python 报错 MemoryError 是指程序在运行时尝试分配的内存超过了系统可用的内存大小，导致内存不足的错误。这种错误通常发生在处理大量数据或者使用大型数据结构时，可以通过优化算法或者增加系统内存来解决。 ### 回答2： Python编程语言是一种高级语言，它的特点是语法简洁、易读易写，并能够进行高效的内存管理。然而，即便如此，有时候在使用Python进行程序开发中，也会出现一些问题。比如，当我们的程序需要处理大量的数据时，如果内存不够用，就会报“MemoryError”错误。那么，为什么Python会报“MemoryError”呢？一般来说，这个错误是因为我们的程序尝试分配的内存超出了系统的可用内存所导致的。当程序需要使用内存时，系统会从堆中分配一定大小的内存空间来存储数据，如果没有足够的内存可供使用，那么就会出现“MemoryError”错误。为了解决这个问题，我们需要采取一些措施来减少内存的使用，或者通过增加系统的可用内存来解决问题。具体的措施包括： 1. 对于大型数据集，可以尝试使用生成器来读取和处理数据，而不是一次性将整个数据集加载到内存中。 2. 避免在python中操作大型数组或者列表。如果必须使用大型数据集，请考虑使用Python的NumPy或Pandas库进行高效的数组和数据操作。 3. 使用垃圾回收机制来回收内存。Python自带了垃圾回收机制，可以自动回收不再使用的内存空间。 4. 对于一些计算密集的任务，可以考虑使用Cython或者PyPy等编译器来加速Python程序的运行速度，并减少内存使用。同时可以使用多进程和多线程来提高程序的性能。总之，Python报错“MemoryError”是因为程序运行需要的内存太大，而系统的可用内存不足。通过一些措施，如使用生成器、避免大量操作大型数组、使用垃圾回收机制、使用编译器提高程序运行速度等，可以减少内存的使用，从而避免这个问题的出现。 ### 回答3： Python中的MemoryError错误通常是由于程序尝试使用系统内存资源超出了其限制而引起的。MemoryError错误表明，Python程序需要为某个操作分配的内存空间超出了Python解释器所能提供的内存限制。这种错误通常发生的原因有以下几种： 1. 程序过于复杂或处理数据量过大，会导致Python解释器无法为其分配足够的内存空间。 2. 程序可能会构造非常大的数据结构，如列表、字典和Numpy数组等。 3. 代码中存在内存泄漏的情况，例如程序使用了大量闭包或循环引用等。解决MemoryError错误需要考虑以下几点： 1. 优化程序结构与算法，减少内存使用。 2. 使用生成器和迭代器来代替列表和其他容器类型，以减少内存使用和提高程序执行效率。 3. 使用分布式计算框架，将任务分解成多个子任务并行执行，以减少内存的使用和提高程序运行效率。 4. 使用第三方库来实现内存管理，如PyPy、Memory Profiler和Pympler等。 5. 避免使用全局变量和循环引用等可能导致内存泄漏的代码，确保内存的正确释放。总之，MemoryError错误通常是由于程序需要过多的内存空间而引起的，解决方法包括优化程序结构与算法，使用生成器和迭代器来代替列表等容器类型，使用分布式计算框架来减少内存使用和提高程序效率，使用第三方库来实现内存管理等。