在处理大批量的NLP词频矩阵时，出现memoryError的错误

在进行自然语言处理时候，遇到如下错误：

进行词语切分后，使用tfidf做词频矩阵，导致程序报出错误：MemoryError

 报错原因：文本条数过大，导致内存超载，在这里 File "C:/Users/Administrator/Desktop/temp.py", line 49, in <module>weight=tfidf.toarray()

                  触发MemoryError
解决方法：对关键词库进行去重

 具体操作为：1方案，将原有的null值通过remove删除

　　　　　　 2方案：将原有的列表转化为集合，再转化为列表（此方法可能会删除重复的，但有用的词汇，再做tfidf时会有误差，不建议再自然语言处理中使用这种方法）

 

 

本文本为版权所有，如若转载，请注明转载来源

转载于:https://www.cnblogs.com/laowangxieboke/p/11152022.html