[报错] [Ubuntu] [Python] MemoryError: Unable to allocate array with shape (x, x) and data type float64

错误信息

MemoryError: Unable to allocate array with shape (430949, 430949) and data type float64

系统环境

• Ubuntu 18.04 LTS
• Python 3.6

原因分析

据传 [1] 是因为触发了系统的 overcommit handing 模式。

事情是这样的，我打算生成一个形状为[430949, 430949]的稀疏矩阵，结果就报了上述错误。大致是因为这个矩阵似乎要占用的空间太大，所以系统就提前禁止创建了。实际上是用不了那么多内存的（稀疏矩阵）。

解决办法

1. 首先检查系统的内存过载处理模式
   $ cat /proc/sys/vm/overcommit_memory
   不出意外的话结果应该是0
2. 然后切换到 root 用户（否则权限不够）
   $ sudo passwd root
   然后输入当前用户密码，再给 root 设定一个新密码，再切换到 root：
   $su root
   你会发现$变成了#
3. 现在我们拥有了 root 权限，输入下面的命令将内存过载处理模式更改为1：
   $ echo 1 > /proc/sys/vm/overcommit_memory
   然后不出意外的话，就可以成功创建该矩阵啦！

Reference

1. Iguananaut. (August 15, 2019). Unable to allocate array with shape and data type. Retrieved from https://stackoverflow.com/questions/57507832/unable-to-allocate-array-with-shape-and-data-type
2. BigCabbageFy. (March 9, 2018). ubuntu下无法在根目录创建文件夹；permission denied 权限不足问题解决方法. Retrieved from https://blog.csdn.net/bigcabbagefy/article/details/79500090