在学习分布式爬虫时，遇到已下报错：
在网上搜了下，普遍都是这一种解决办法，降Process.start（）改成Process.run(),试了一下，确实不再报错，但是同时也不是多线程。参考文章：https://blog.csdn.net/weixin_42081389/article/details/93172508
继续搜索，终于找到不一样，
原来是queue.Queue 这个数据类型不支持多线程，将此队列改成multiprocessing中的Queue队列即可解决问题
python 多线程时报错：TypeError: cannot pickle ‘_thread.lock‘ object
最新推荐文章于 2024-08-21 17:05:24 发布
在学习分布式爬虫时遇到Process.start()引发的错误，尝试将Process.start()改为Process.run()虽消除报错，但丧失了多线程特性。问题根源在于queue.Queue不支持多线程，解决方案是改用multiprocessing.Queue。修改后，成功实现多线程并解决报错。
扫一扫
489
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
