spacy程序会随着处理文本数据的增大,内存占用增大,不释放,直到程序运行结束。
2.1.9 之前的版本都存在内存泄露的问题。
spacy 2.1.9 说是解决了内存泄露的问题,但其实没有解决。
spacy 2.2.5 说是解决了内存泄露的问题,但是没有完全解决,在使用nlp.pipe()处理,依然有问题。使用nlp(text)不存在内存泄露问题
例子:
在这里插入代码片
spacy程序会随着处理文本数据的增大,内存占用增大,不释放,直到程序运行结束。
2.1.9 之前的版本都存在内存泄露的问题。
spacy 2.1.9 说是解决了内存泄露的问题,但其实没有解决。
spacy 2.2.5 说是解决了内存泄露的问题,但是没有完全解决,在使用nlp.pipe()处理,依然有问题。使用nlp(text)不存在内存泄露问题
例子:
在这里插入代码片