最近刚刚学习Python,用的软件是PyCharm。在手打了一个基于物品的推荐算法,并且跑一个20000+的数据集时,出现了Memory Error错误。一开始以为是代码问题,后面才发现自己的内存已经到达了80%+了。查阅相关资料,这个大哥写的很不错,大家可以去看看。
l解决Python memory error的问题(四种解决方案).
这是我自己出现的问题
我分析了一下出现这个错误的原因:
1.很显然,自己电脑配置不行,数据集20000+的遇到复杂的功能就跑不动了;
2.我的错误点是在sorted上。因为我将几百种相似的物品进行相似度分析后,将所有用户与物品的相似度进行排序,从高到低,可能涉及的复杂度过高,导致最后内存直接崩溃。