在创建词频矩阵时,由于数据量很大,在转化为矩阵的toarray()过程中出现了memory error。
开始以为是电脑内存太小,后来尝试了设置虚拟内存、借室友的大电脑、甚至从gpu上跑都不行。!!!哭了
后来看到了https://jingyan.baidu.com/article/a65957f434970a24e67f9be6.html#!/article/a65957f434970a24e67f9be6才发现奴numpy不能创建太大的矩阵!按照链接中的方法终于解决了。
在创建词频矩阵时,由于数据量很大,在转化为矩阵的toarray()过程中出现了memory error。
开始以为是电脑内存太小,后来尝试了设置虚拟内存、借室友的大电脑、甚至从gpu上跑都不行。!!!哭了
后来看到了https://jingyan.baidu.com/article/a65957f434970a24e67f9be6.html#!/article/a65957f434970a24e67f9be6才发现奴numpy不能创建太大的矩阵!按照链接中的方法终于解决了。
转载于:https://www.cnblogs.com/yuyu-blog/p/11496250.html