python多进程,进程池及进程间通信

本文介绍了Python的多进程概念,包括进程的状态和创建,特别是使用multiprocessing模块创建进程和传递参数。重点讲解了进程间通信,如使用Queue进行数据传递,并举例说明了Queue的方法。此外,还提到了进程池Pool的应用,以及在Pool中使用Manager的Queue以避免错误。
摘要由CSDN通过智能技术生成

python 多任务之进程

进程:

一个程序运行起来后, 代码 + 用到的资源称为进程, 它是操作系统分配资源的基本单元. 进程也可以完成多任务

进程的状态

工作中, 任务数往往大于 CPU 核数, 即一定有一些任务正在执行, 而另一些任务在等待 CPU 执行, 因此导师了进程有了不同的状态

  • 就绪态: 运行的条件都已经满足, 正在等待 CPU 执行
  • 执行态: CPU 正在执行其功能
  • 等待泰: 等待某些条件满足 如 time.sleep()

进程的创建 - multiprocessing

multiprocessing 模块是跨平台版本的多进程模块, 提供了一个Process类来代表一个进程对象, 这个对象可以理解为是一个独立的进程, 可以执行另外的事情

# –*– coding: utf-8 –*–
# @Time      : 2019/3/19 22:18
# @Author    : Damon_duanlei
# @FileName  : process_test.py
# @BlogsAddr : https://blog.csdn.net/Damon_duanlei

import multiprocessing
import time


def func_1():
    while True:
        time.sleep(1)
        print("1")


def func_2():
    while True:
        time.sleep(1)
        print(2)


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=func_1)
    p2 = multiprocessing.Process(target=func_2)
    p1.start()
    p2.start()

给自进程的函数传参

# –*– coding: utf-8 –*–
# @Time      : 2019/3/19 22:18
# @Author    : Damon_duanlei
# @FileName  : process_test.py
# @BlogsAddr : https://blog.csdn.net/Damon_duanlei

import multiprocessing
import time


def func_1(num):
    while True:
        time.sleep(1)
        print(num)


def func_2(num):
    while True:
        time.sleep(1)
        print(num)


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=func_1, args=(1,))
    p2 = multiprocessing.Process(target=func_2, args=(2,))
    p1.start()
    p2.start()

进程间共享代码不共享资源(代码写时拷贝)

创建子进程时, 系统在内存中开辟一块新的空间将主进程中所有的资源复制一份到子进程中, 子进程运行过程中变量值的改变不影响主进程, 主进程中的全局变量也不

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python 中有多种方法可以实现多进程,包括使用 `os.fork()`、`multiprocessing` 模块和 `concurrent.futures` 模块等。 1. 使用 `os.fork()` `os.fork()` 是一个 Unix 系统调用,它可以复制当前进程,创建一个新进程。父进程和子进程会共享代码段,但是各自有独立的数据段和堆栈段。在 Python 中,可以通过 `os.fork()` 实现多进程,示例代码如下: ```python import os pid = os.fork() if pid == 0: # 子进程 print('I am child process, my pid is', os.getpid()) else: # 父进程 print('I am parent process, my pid is', os.getpid(), 'and my child pid is', pid) ``` 2. 使用 `multiprocessing` 模块 `multiprocessing` 模块是 Python 内置的多进程模块,可以很方便地实现多进程。示例代码如下: ```python import multiprocessing def worker(): print('I am child process, my pid is', os.getpid()) if __name__ == '__main__': # 创建子进程 p = multiprocessing.Process(target=worker) # 启动子进程 p.start() # 等待子进程结束 p.join() # 父进程 print('I am parent process, my pid is', os.getpid()) ``` 3. 使用 `concurrent.futures` 模块 `concurrent.futures` 模块是 Python 内置的线程进程模块,可以很方便地实现异步任务。示例代码如下: ```python import concurrent.futures def worker(): print('I am child process, my pid is', os.getpid()) if __name__ == '__main__': # 创建进程 with concurrent.futures.ProcessPoolExecutor() as executor: # 提交异步任务 future = executor.submit(worker) # 等待任务完成 result = future.result() # 父进程 print('I am parent process, my pid is', os.getpid()) ``` 以上是三种常用的 Python 多进程实现方式,具体选用哪种方式,需要根据实际情况来决定。需要注意的是,在 Windows 平台上,由于 `os.fork()` 不被支持,因此不能使用第一种方式创建多进程。 ### 回答2: Python多进程是指利用Python编程语言提供的多进程模块来实现并行计算。Python多进程模块主要包括了`multiprocessing`和`concurrent.futures`两个子模块,用于实现多进程的创建、启动和管理。 使用Python多进程可以带来多个优点。首先,使用多进程可以充分利用多核处理器的计算资源,提高程序的运行效率。其次,多进程可以实现程序的并行计算,将计算任务分配到多个进程中同时执行,从而缩短程序的运行时间。同时,多进程还可以解决Python的全局解释锁(GIL)问题,使得并行计算更加高效。 在Python中,使用多进程可以通过以下几个步骤实现。首先,需要导入`multiprocessing`或`concurrent.futures`模块。然后,通过创建`Process`或`Executor`对象来创建进程。接下来,可以使用`start()`方法启动进程,使用`join()`方法等待进程结束。同时,还可以使用`Process`或`Executor`对象提供的其他方法来管理进程的状态和结果。 除了基本的多进程操作外,Python多进程模块还提供了一些辅助功能,如进程间通信进程等。进程间通信可以通过`Queue`、`Pipe`等来实现,用于实现进程之间的数据交换。而进程可以通过`Pool`来实现,用于管理多个进程的执行和返回结果。 总之,Python多进程是一种并行计算的方法,可以充分利用计算资源和提高程序的运行效率。通过多进程的方式,可以实现更快速和有效的数据处理和计算。 ### 回答3: Python 多进程是指在一个 Python 程序中同时运行多个进程的能力。多进程可以充分利用多核处理器,并且能够提高程序的运行效率和性能。 在 Python 中,我们可以使用 `multiprocessing` 模块来实现多进程。通过创建多个进程,每个进程都拥有独立的内存空间和数据栈,可以同时运行不同的任务。 使用 `multiprocessing` 模块,我们可以创建一个进程,通过调用其 `Pool` 类的 `map()` 或 `apply()` 方法,将任务分配给进程中的不同进程来并行执行。这样,我们可以有效地利用多个 CPU 核心,提高程序的运行效率。 需要注意的是,每个进程都有自己独立的内存空间,因此在多进程编程时,需要特别注意进程间的数据共享和同步问题。在多进程编程中,常用的同步机制包括锁、信号量、事件等,可以通过 `multiprocessing` 模块中的相关类来实现。 此外,多进程编程还可以进一步拓展为分布式进程编程,即将进程分布在多台机器上运行,通过网络进行通信和协调。在 Python 中,可以使用 `multiprocessing` 模块中的 `Manager` 类来实现分布式进程。 总的来说,Python多进程编程能够提高程序的执行效率和性能,特别适合于那些需要大量计算的任务,如数据处理、图像处理等。通过合理地运用多进程,并结合适当的同步机制,我们可以充分发挥多核处理器的潜力,提高程序的运行效率和吞吐量。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值