对于Python中multiprocessing中的多进程的理解

在爬虫的开发过程中中,进程和线程的概念是非常重要的,提高爬虫的效率,打造分布式爬虫,都离不开线程,进程的身影。多线程,多进程,协程,分布式进程等。
""
Python实现多进程的方式主要有两种,一种方法是使用os模块中的fork 方法,另一种方式是使用multiprocessing模块。
"""
import os
from multiprocessing import Process
# 子进程要执行的代码
def run_proc(name):
    print('Child process %s (%s) Running ...' %(name, os.getpid()))
if __name__ == '__main__':
    print('Parent process %s.' %os.getpid())
    for i in range(5):
        p = Process(target=run_proc, args=(str(i),))
        print("Process will start")
        p.start()
    p.join()
    print("Process end.")

对于上述多进程的输出结果,如下:

Parent process 9892.
Process will start
Process will start
Process will start
Process will start
Process will start
Child process 0 (13208) Running ...
Child process 1 (19416) Running ...
Child process 2 (10016) Running ...
Child process 4 (17164) Running ...
Child process 3 (3492) Running ...
Process end.

Process finished with exit code 0

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值