m0_62854342的博客

原创 使用WikiExtractor提取维基百科语料

2.升级到 Python 3.8 及以上版本，Python 3.8 引入了新的 multiprocessing.get start method 方法，可以方便地更改创建进程的方式。这个错误通常出现在 Windows 系统上，因为 Windows 不支持 fork方法，而 fork 是 Multiprocessing 模块默认使用的创建进程的方式。只是不符合代码的模板，不影响提取的进行，可能最后会影响提取的效果。如果你的代码中使用了 fork() 方法，那么你需要修改代码，使用其他方式创建进程。