python多进程_python的类中无法使用多进程的可能原因

最近在写爬虫程序的时候使用到了多进程,但是发现无论怎样多进程都无法实现,我们先来看一个案例。

f62ac6deb008d7c115141578800bacd7.png

在这里我们很容易能看懂代码的逻辑,在 __init__函数中我连接了redis,之后在 get_task函数中从redis获取数据,同时调用了po_task,并将获取的数据传入po_task函数,之后po_task 就是用来执行多进程的。当代码写好之后本以为能够毫无意外的实现多进程,结果代码运行之后发现根本没有执行 task1task2task3这三个函数。

此时的我一脸懵逼,代码都没错啊,怎么运行之后没有反应?此时我做了一个每个程序员在遇到问题时都会干的事情,那就是找度娘。然而,在百度搜了半天了之后才找到了一篇文章,这篇文章里面的大概意思就是说,在python的类当中无法使用多进程,否则会报错,在看完这篇文章之后,我就想,那不行啊,我代码都是用类写的,要是改成不用类多麻烦啊,之后我就没有继续百度了,直接自己测试,接下来就是我自己测试的过程了。

我首先想到的就是先不要从redis中取数据了,毕竟从redis中取数据哪有自己直接生成一些数据方便呢,所以我把key_list = self.r.smembers(self.main_queue)这个直接改成了列表推导式,用列表推导式生成参数,

bf569a16a136fe5d8bcd08d7f19cc7a5.png

之后代码就是这样了,此时我再次运行代码,发现多进程竟然成功了,到此我很快就否定了中无法使用多进程,可能以前因为版本的原因确实无法使用多进程,但是现在版本更新过很多了,所以此时中是可以使用多进程的,那么问题就不是出在使用而导致多进程无法使用了。然后我将屏蔽的redis打开,代码再次回复到一开始的状态,然后运行发现,果然多进程还是无法使用,那么此时我就确定了是因为redis的原因导致了多进程无法使用,此时我就在想,那怎么弄啊,redis是必须要使用的啊,此时我就打算不在类中连接redis会怎么样,

4b85c741a4e1ff40bb8a325efcc3b7a4.png

于是我就将redis连接放到了外面,改成上图所示的代码之后,此时我再次运行代码,这次我发现竟然又可以使用了,所以经过这次的测试之后我发现了,redis连接不能放在__init__函数中,否则会导致多进程无法使用。之后我相继测试了将 mysqlmongodb放入__init__,发现都无法成功使用多进程,所以各位在python的类中无法使用多进程的原因可能就是这个,当然也不排除你们遇到的是其它的原因。

欢迎大家说出自己遇到的类似的问题,有问题可以提出来,万一有人能解决呢?你们说是不是。

欢迎关注公众号:时光python之旅 (在这里你能学到我的所见、所闻、所思、所学)

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值