Memory Error问题

前段时间用LDA做主题模型的时候，老是报错Memory Error,原来是内存不足，后来将整个模型放到服务器（64G）上训练，发现还是报同样的错误，后来在服务器上检测，发现并没有占满，网上找了许多教程，看着别人的教程做了好久还是不行，看着别人的方法

主要是我建了一个矩阵太大了，20万*45万的矩阵。

self.z = np.array(np.zeros([self.D, self.V]), dtype=np.int32)

解决办法
首先检查系统的内存过载处理模式
$ cat /proc/sys/vm/overcommit_memory
不出意外的话结果应该是0
然后切换到 root 用户（否则权限不够）
$ sudo passwd root
然后输入当前用户密码，再给 root 设定一个新密码，再切换到 root：
$su root
你会发现$变成了#
现在我们拥有了 root 权限，输入下面的命令将内存过载处理模式更改为1：
$ echo 1 > /proc/sys/vm/overcommit_memory

照着别人的方法，将其修改了，后来在建矩阵 的时候，发现内存一直在增加，最后将交换空间也满了，还是报了memory error,

看来还是这个矩阵太大了，减少了一些文本去训练模型，最后想到另一个方法，只是适用于LDA而言，过滤掉了一些低频词，发现矩阵的维度降低了很多，终于解决了，我感觉像这么大的矩阵尽量少创建，实在太麻烦了。就写到这里了。

参考链接

https://blog.csdn.net/xovee/article/details/101077022