windows下Python使用多进程的问题

本文探讨了在Windows系统中使用Python的multiprocessing库进行多进程处理遇到的问题。作者发现Process和Pool的map函数需要在终端运行,而apply_async可以在IDLE中异步执行。通过示例展示了如何用进程池下载30个URL,并提醒在Windows下使用多进程时需注意入口和Pool的使用方式。
摘要由CSDN通过智能技术生成

最近在学习爬虫,对于线程、进程、多线程、多进程、协程研究了很多。因为我用的是WIN7,所以一切都是在win下实现的。

在WIN下使用多进程的包multiprocessing(这是第三方包,不是模块),它有几个类:Process要在终端下运行,IDLE运行不了;

同样的Pool(进程池)的map函数和Process一样要在终端运行。但奇怪的是Pool 的apply_async(异步执行)却可以在IDLE下运行,终端却没输出。

具体原因在慢慢了解,之后再更新吧。

代码如下:

#用进程池异步下载30个URL,和前一篇作比较

import random
import time
import requests
from multiprocessing import Pool
def down(url):
    s=requests.Session()
    res=s.get(url)
    a=random.randint(0,40)
    f=open('%d.jpg'%a,'wb')
    f.write(res.content)
    
def main():    
    f=open('E:\Python\py\process+xiec\\test.txt','r')
    a=f.readlines()
    po=Pool(3)
    for i in a:
        po.apply_async(down,(i,))
    po.close()#进程池一定要先关在join

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值