在windows下多进程实现爬虫使用的multiprocessing的问题

1.主题背景:
之前由于虚拟机太卡,所以爬虫就放在windows下来实现,在windows多线程实现爬虫还没有什么问题,爬取的结果也正常.
于是我把多线程的代码修改了一番,变成多进程实现
2.问题:
运行也没有报错,但是结果老是显示不出来,windows下实现多进程爬虫思来想去,最终敲定代码没有错(当然这个过程是非常痛苦的,让我一晚上啥也没有干),那么我开始搜索网上的资源,最终发现了一篇大神的博客,虽然没有仔细看过内容,但是给我的提示已经够了,在这里为了表示感谢,附上这篇博客地址,有兴趣的可以看看windows和linux下的multiprocessing模块的不同
3.解决方案:
既然已经知道是windows确实有点特立独行,那么我就把代码放到虚拟机里面运行,结果自然是可以的
这是在虚拟机运行代码的结果

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值