我面临以下问题.我正在尝试并行化更新文件的函数,但由于OSError,我无法启动Pool():[Errno 12]无法分配内存.我开始在服务器上四处看看,这并不像我使用旧的,弱的/实际内存.
见htop:
另外,free -m显示我除了大约7GB的交换内存外还有足够的RAM:
而我正在尝试使用的文件也不是那么大.我将粘贴我的代码(和堆栈跟踪),其中,大小如下:
使用的预测矩阵数据帧占用大约.根据pandasdataframe.memory_usage()80MB
文件geo.geojson是2MB
我该如何调试呢?我可以检查什么以及如何检查?感谢您的任何提示/技巧!
码:
def parallelUpdateJSON(paramMatch, predictionmatrix, data):
for feature in data['features']:
currentfeature = predictionmatrix[(predictionmatrix['SId']==feature['properties']['cellId']) & paramMatch]
if (len(currentfeature