首先我遇到的问题如下:
① killed
进程被杀死,我查了出错的那句代码,就是从一个文件中加载数据,文件大小有5.6G左右。
报错情况如下:
② MemoryError
我换个终端不断用命令“free -h” 查看内存的使用情况:
这时运行同一个命令报错变成了 MemoryError。
整体上推测,我认为确实是文件比较大一些,导致加载的时候会有内存不够用的情况。我也看了很多的博客,说扩内存,释放变量,按行读取,但对我来说都不适合。
直到我看到这篇博客:
memoryerror!!!!_qq_39682365的博客-CSDN博客
我尝试性的将一些暂时不用的软件关闭,如果涉及相关的服务可以重启一下(我这里的是指可以访问知识库),再重新运行一下上边的命令“sh scripts/run_ranker.sh train 3”。我真的没想到,竟然不出错了!!!
当你们遇到以上两种情况的时候,不妨试试以上的方法,祝你早日解决Bug!!