1.进程
简单的说就是实现唱歌跳舞同时进行,那么就需要一个新的方法,叫做:多任务
2.多任务的概念
- 简单地说,就是操作系统可以同时运行多个任务
- 并行执行多任务只能在多核CPU上实现,但是,由于任务数量远远多于CPU的核心数量,所以,操作系统也会自动把很多任务轮流调度到每个核心上执行
- 就是说当cpu核心数量大于任务数量就是并行,反过来,就是并发
- 依照的规则有时间片轮转,优先级调度
3.进程的创建-fork
- 程序:编写完毕的代码,在没有运行的时候,称之为程序
- 进程:正在运行着的代码,还有需要运行的环境等
- fork( ):
Python的os模块封装了常见的系统调用,其中就包括fork
import os
# 注意,fork函数,只在Unix/Linux/Mac上运行,windows不可以
pid = os.fork()
if pid == 0:
print('哈哈1')
else:
print('哈哈2')
# 程序执行到os.fork()时,操作系统会创建一个新的进程(子进程),然后复制父进程的所有信息到子进程中
# 然后父进程和子进程都会从fork()函数中得到一个返回值,在子进程中这个值一定是0,而父进程中是子进程的 id号
# 普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回
# getpid()是获取当前进程(主进程或子进程)的id、getppid()获取父进程的id
4.多进程修改全局变量
多进程中,每个进程中所有数据(包括全局变量)都各有拥有一份,互不影响,所以在修改全局变量的时候,两个变量相互独立
5.多次fork问题
下次遇到多进程就画图,再如:
os.fork()
os.fork()
os.fork() # 就变成了8个进程
在while True中,如果有os.fork(),程序一定崩,这就相当于fork炸弹,死循环创建进程
6.multiprocessing模块
- multiprocessing模块提供了一个Process类来代表一个进程对象
- 跨平台的操作,fork只在linux下才有效,所以平时应该使用process,它是一个类
程序如下:
from multiprocessing import Process
import time
def test():
while True:
print("---test---")
time.sleep(1)
P = Process(target=test)
P.start() # 让这个进程开始执行test函数里的代码
while True:
print("---main---")
time.sleep(1)
说明:
# 创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动
# 这样创建进程比fork()还要简单
# join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步,这就与fork不同,需要等子进程结束,主进程才可以结束
7.Process语法结构
Process([group [, target [, name [, args [, kwargs]]]]])
- target:表示这个进程实例所调用对象;
- args:表示调用对象的位置参数元组;
- kwargs:表示调用对象的关键字参数字典;
- name:为当前进程实例的别名;
- group:大多数情况下用不到;
8.Process类常用方法
- is_alive():判断进程实例是否还在执行;
- join([timeout]):是否等待进程实例执行结束,或等待多少秒;
- start():启动进程实例(创建子进程);
- run():如果没有给定target参数,对这个对象调用start()方法时,就将执行对象中 的run()方法;
- terminate():不管任务是否完成,立即终止;
9.Process类常用属性
- name:当前进程实例别名,默认为Process-N,N为从1开始递增的整数;
- pid:当前进程实例的PID值
- 进程的创建-Process子类:
创建新的进程还能够使用类的方式,可以自定义一个类,继承Process类,每次实例化这个类的时候,就等同于实例化一个进程对象
如果想知道程序的运行时间,可以用开始和结束的time.time()两个时间差,就代表运行时间
10.进程池pool
- 当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程
- 但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法
P0 = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0,10):
# Pool.apply_async(要调用的目标,(传递给目标的参数元组,))(非堵塞式)
# Pool.apply(worker,(i,)) (堵塞式),主进程卡在这里,需要等子进程完成才能添加
# 每次循环将会用空闲出来的子进程去调用目标
P0.apply_async(worker,(i,)) # work是一个函数
P0.close() # 关闭进程池,关闭后po不再接收新的请求
P0.join() # 等待po中所有子进程执行完成,必须放在close语句之后
11.多种创建进程的方式比较
os.fork()中,子进程和父进程可以都执行,而且父进程可以不必等待子进程结束
p = process(target=xxx)
p.start()
# 子进程和父进程都可执行
pool = Pool(3)
pool.apply_async(xxx)
# 主进程一般用来等待,真正的任务都在子进程中执行
12.进程间通信-Queue
1.Process之间有时需要通信,操作系统提供了很多机制来实现进程间的通信。
2.Queue的使用:
可以使用multiprocessing模块的Queue实现多进程之间的数据传递,Queue本身是一个消息列队程序
队列:先进先出
栈:先进后出
初始化Queue()对象时(例如:q=Queue()),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接受的消息数量没有上限(直到内存的尽头)
from multiprocessing import Queue
q = Queue(3) # 初始化一个Queue对象,最多可接收三条put消息
#Python小白学习交流群:711312441
try:
q.put_nowait("消息4")
except:
print("消息列队已满,现有消息数量:%s"%q.qsize())
- Queue.qsize():返回当前队列包含的消息数量;
- Queue.empty():如果队列为空,返回True,反之False;
- Queue.full():如果队列满了,返回True,反之False;
- Queue.get([block[, timeout]]):获取队列中的一条消息,然后将其从列队中移除,block默认值为True
- Queue.get_nowait():相当Queue.get(False);应该把它放在try里面
- Queue.put(item,[block[, timeout]]):将item消息写入队列,block默认值为True
3.进程池中的Queue:
如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue()
13.孤儿进程和僵尸进程
- 孤儿进程:是指父进程结束,但子进程还未结束,通常的情况下父进程可以清除子进程 的垃圾,表示子进程没人收尸了
- 僵尸进程:是指子进程结束了,父进程还未结束
- 一般在操作系统中,0号进程负责切换任务,1号进程负责生子进程,并负责打理孤儿进程