python多进程模块_multiprocessing 多进程模块-python

之前使用工具是jupyter导致执行效果和网络教程不一致,使用系统的python就可以达到效果

multiprocessing 是 Python 的标准模块，它既可以用来编写多进程，也可以用来编写多线程。如果是多线程的话，用 multiprocessing.dummy 即可，用法与 multiprocessing 基本相同.

基础

利用 multiprocessing.Process 对象可以创建一个进程,Process 类适合简单的进程创建，如需资源共享可以结合 multiprocessing.Queue 使用；如果想要控制进程数量，则建议使用进程池 Pool 类

Process 介绍：

构造方法：

Process([group [, target [, name [, args [, kwargs]]]]])

group: 线程组，目前还没有实现，库引用中提示必须是 None；

target: 要执行的方法；

name: 进程名；

args/kwargs: 要传入方法的参数。

实例方法：

is_alive()：返回进程是否在运行。

join([timeout])：阻塞当前上下文环境的进程程，直到调用此方法的进程终止或到达指定的 timeout(可选参数)。

start()：进程准备就绪，等待 CPU 调度。

run()：strat() 调用 run 方法，如果实例进程时未制定传入 target，start 执行默认 run() 方法。

terminate()：不管任务是否完成，立即停止工作进程。

属性：

authkey

daemon：和线程的 setDeamon 功能一样(将父进程设置为守护进程，当父进程结束时，子进程也结束)。

exitcode(进程在运行时为 None、如果为 –N，表示被信号 N 结束)。

name：进程名字。

pid：进程号。

示例1:

import multiprocessing

def worker(num):

"""thread worker function"""

print('Worker:', num)

if __name__ == '__main__':

jobs = []

for i in range(5):

p = multiprocessing.Process(target=worker, args=(i,))

jobs.append(p)

p.start()

# 输出

# Worker: 1

# Worker: 0

# Worker: 2

# Worker: 3

# Worker: 4

#注意,测试时还是按照顺序执行,并没有出现序列无序情况

确定当前进程

每个Process实例都有一个名称，其默认值可以在创建进程时更改。命名进程对于跟踪它们非常有用，尤其是在同时运行多种类型进程的应用程序中

import multiprocessing

import time

def worker():

name = multiprocessing.current_process().name

print(name, 'Starting')

time.sleep(2)

print(name, 'Exiting')

def my_service():

name = multiprocessing.current_process().name

print(name, 'Starting')

time.sleep(3)

print(name, 'Exiting')

if __name__ == '__main__':

service = multiprocessing.Process(

name='my_service',

target=my_service,

)

worker_1 = multiprocessing.Process(

name='worker 1',

target=worker,

)

worker_2 = multiprocessing.Process( # default name

target=worker,

)

worker_1.start()

worker_2.start()

service.start()

# output

# worker 1 Starting

# worker 1 Exiting

# Process-3 Starting

# Process-3 Exiting

# my_service Starting

# my_service Exiting

守护进程

默认情况下，在所有子进程退出之前，主程序不会退出。有些时候，启动后台进程运行而不阻止主程序退出是有用的，例如为监视工具生成“心跳”的任务。

要将进程标记为守护程序很简单，只要将daemon属性设置为 True 就可以了。

import multiprocessing

import time

import sys

def daemon():

p = multiprocessing.current_process()

print('Starting:', p.name, p.pid)

sys.stdout.flush()

time.sleep(2)

print('Exiting :', p.name, p.pid)

sys.stdout.flush()

def non_daemon():

p = multiprocessing.current_process()

print('Starting:', p.name, p.pid)

sys.stdout.flush()

print('Exiting :', p.name, p.pid)

sys.stdout.flush()

if __name__ == '__main__':

d = multiprocessing.Process(

name='daemon',

target=daemon,

)

d.daemon = True

n = multiprocessing.Process(

name='non-daemon',

target=non_daemon,

)

n.daemon = False

d.start()

time.sleep(1)

n.start()

# output

# Starting: daemon 41838

# Starting: non-daemon 41841

# Exiting : non-daemon 41841

输出不包括来自守护进程的“退出”消息，因为所有非守护进程(包括主程序)在守护进程从两秒休眠状态唤醒之前退出。

守护进程在主程序退出之前自动终止，这避免了孤立进程的运行。这可以通过查找程序运行时打印的进程 ID 值来验证，然后使用 ps 命令检查该进程。

总体来讲,设置子进程为守护状态时,如果主进程退出(即发起子进程的主进程)退出,会把该进程发起的子进程杀死(如果该子进程还在运行).子进程未设置该状态,在子进程退出前,主进程不会退出

等待进程

要等到进程完成其工作并退出，请使用 join()方法

import multiprocessing

import time

import sys

def daemon():

name = multiprocessing.current_process().name

print('Starting:', name)

time.sleep(2)

print('Exiting :', name)

def non_daemon():

name = multiprocessing.current_process().name

print('Starting:', name)

print('Exiting :', name)

if __name__ == '__main__':

d = multiprocessing.Process(

name='daemon',

target=daemon,

)

d.daemon = True

n = multiprocessing.Process(

name='non-daemon',

target=non_daemon,

)

n.daemon = False

d.start()

time.sleep(1)

n.start()

d.join()

n.join()

# output

# Starting: non-daemon

# Exiting : non-daemon

# Starting: daemon

# Exiting : daemon

标签：__,daemon,name,python,Process,模块,进程,multiprocessing

来源： https://www.cnblogs.com/g2thend/p/12526485.html