python 多进程报错:TypeError: can't pickle _thread.lock objects

介绍:

写这个随笔主要是为了日后再遇见这个问题,而不用百度一直找原因,耽误时间,我用多进程进行爬虫时,使用下面这个process_one.start(),一直报错说这个地方,百度谷歌搜索了好一会,也没有找到可靠的解决方法,后来找了好一会没找到,主要还是以前看到进程学习的使用,start(),就是调用run()方法,想着直接调用run()试试,结果还就可以了。

process_one = Process(target=baidu.run, args=(key,))
process_one.start()

1、报错:

Traceback (most recent call last):
  File "D:/zjf_workspace/自己测试用的/030、网站图片/1、360/5、360_进程_many_thread_many_keys.py", line 103, in <module>
    process_one.start()
  File "D:\tools\Python3.6\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "D:\tools\Python3.6\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "D:\tools\Python3.6\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "D:\tools\Python3.6\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
  File "D:\tools\Python3.6\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

2、解决很简单:

主要还是以前看到进程学习的使用,start(),就是调用run()方法,想着直接调用run()试试,结果还就可以了。

 process_one = Process(target=baidu.run, args=(key,))
# process_one.start()
 process_one.run()

3、产生新的错误

AssertionError: can only join a started process

for process_i in process_list:
    process_i.join()

然后 百度找了好久,找到一个解释,说join()不能用于等待.run()方法,

解释参考:https://www.cnblogs.com/YZL2333/p/10445981.html

4、直接去掉join()测试

感谢下面小伙伴的提醒,我都不知道我这个地方写错了。嘿嘿
测试中。。。

等待。。。
如果能爬取到7300以上的图片,跑完没有报错,说明成功。
这个跑到7000,感觉没有单个程序爬的多,不过快一点,后续如果有更好的解决再来补充吧。

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhaojiafu666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值