python 进程池

最新推荐文章于 2024-09-17 23:15:58 发布

徐奥雯XUAOWEN

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量68

点赞数

分类专栏： Python 文章标签： python

XUAOWEN-ASSETS 徐奥雯 china@xuaowen.cn

本文链接：https://blog.csdn.net/oqq2016/article/details/119573116

版权

Python 专栏收录该内容

26 篇文章 0 订阅

订阅专栏

本文探讨了使用Python的multiprocessing模块创建进程池，通过`Pool`实现URL抓取任务的并行执行，并对比了同步和异步方式下执行时间。核心内容涉及进程池的使用和异步I/O的效率提升。

摘要由CSDN通过智能技术生成

from multiprocessing import Pool
import requests
import time


def func(url):
    res = requests.get(url)
    print(url)  # 打印url
    #print(res.text)  # 打印网页源码
    if res.status_code == 200:  # 爬虫成功
        return 'ok'


if __name__ == '__main__':
    p = Pool(5)  # 进程池 最大进程数量
    l = [
         'https://www.kugou.com/',
         'https://www.sougou.com/',
         'https://www.hao123.com/',
         'https://www.baidu.com/',
         'https://www.4399.com/',
         'https://www.taobao.com/',
         'https://www.icourse163.org/',
         ]
    start = time.time()  # 开始时间
    for i in l:
        p.apply(func, args=(i,))
    apply_1 = time.time() - start  # 结束时间减去开始时间


    start = time.time()  # 开始时间
    for i in l:
        p.apply_async(func, args=(i,))
    p.close()
    p.join()
    apply_2 = time.time() - start  # 结束时间减去开始时间

    print('池中的进程一个一个的去执行任务的时间是%s，池中的进程一次性都去执行任务的时间是%s' % (apply_1, apply_2))