Python并发编程之multiprocessing模块方法及进程概念

进程的概念

进程是操作系统分配资源(可以理解为内存空间)的最小单位

进程的三状态

就绪
运行
阻塞

进程的调度算法

给所有进程的分配资源和CPU使用权的一种方法

短作业优先

先来先服务

多级反馈算法

多个任务队列，优先级从高到低

新来的任务总是优先级最高的

每一个新任务几乎会立即获得一个时间片时间

执行完一个时间片之后就会降到下一级队列中

总是优先级高的任务都执行完才执行优先级低的队列

并且优先级越高时间片越短

multiprocessing 多元的处理进程的模块

与threading模块相仿

from multiprocessing import Process
import os
def func():
    print(os.getpid(),os.getppid())

if __name__ == '__main__':
    print('main:',os.getpid(),os.getppid())
    p=Process(target=func)
    p.start()

为什么需要if __name ==‘main’:

windows系统是在子进程import 父进程的内容，import会执行父进程中所有代码

mac和linux系统是将父进程的内存直接copy进子进程

子进程传参

p = Process(target=func,args=(args,))

不能获取子进程的返回值

因为进程之间数据隔离

p.join() 阻塞，只到p这个子进程执行完毕才继续执行代码

守护进程

process_object.deamon=True
实例化进程对象时添加daemon=True参数即可

主进程会等待所有的子进程结束，是为了回收子进程的资源

守护进程会等待主进程的代码执行结束之后再结束，而不是等待整个主进程结束

主进程的代码什么时候结束，守护进程就什么时候结束，而不是等待整个主进程结束

Lock 锁 令进程同步

当多个进程都需要操作内存外的同一个文件时就会出现问题 #print 也会出现问题
锁的作用就是让所有进程排队有序执行
在当前进程拿到锁正在执行时其他进程就会阻塞并等待当前进程释放锁然后进行抢夺
获取锁后开始执行

from multiprocessing import Process,Lock
import os
lock=Lock()
def func(lock):
	lock.acquire()#获取锁
    with open('1.txt',mode=a+)as w:
    for i in range(100)
    	w.write(f'{i}+++{os.getppid()}\n')
    lock.release()#释放锁

if __name__ == '__main__':
    print('main:',os.getpid(),os.getppid())
    p1=Process(target=func,args=(lock,))
    p2=Process(target=func,args=(lock,))
    p3=Process(target=func,args=(lock,))
    p1.start()
    p2.start()
    p3.start()
    

from multiprocessing import Lock

进程之间通信—队列 先进先出

from multiprocessing import Queue

q=Queue()

需要将q 作为参数传入子进程

q.get() #获取队列中的数据，获取不到则阻塞，直到获取到数据

q.put()

Inter Process communication == IPC
1.基于文件：同一台机器上的多个进程

基于socket的文件级别来完成数据传递

2.基于网络：同一台机器或多台机器的多个进程都适合

3.第三方工具(消息中间件)