进程
import multiprocessing
def info(title):
print(title)
print(__name__)
print('--------')
if __name__ == "__main__": # 除了创建的子进程和子进程调用函数,其他的都是脚本主进程
# info('hello')
# 创建一个子进程调用函数
P = multiprocessing.Process(target=info,args=('hello python',))
P.start()
P.join() # 和多线程一样,也是等待的意思
print('hello word') # 若没有join则会独立运行
rlock 锁
创建锁
import multiprocessing
def A(lock,i):
with lock:
print(i)
if __name__=="__main__":
lock = multiprocessing.Rlock()
process_list = []
for i in range(10):
p = multiprocessing.Process(target=A,args=(lock,i))
p.start()
process_list.append(p)
for p in process_list:
p.join()
进程间的相互通信
import multiprocessing
def A(conn):
conn.send(['赵某某是小熊软糖'])#发送的数据
print('A',conn.recv())#收到的数据
conn.close()#关闭
if __name__=="__main__":
conn_a,conn_b = multiprocessing.Pipe()
p = multiprocessing.Process(target=A,args=(conn_a,))
p.start()#开启
conn_b.send(['赵某某是甜甜圈'])#发送数据给conn_a
print('main',conn_b.recv())#收到数据
机器人对话
import multiprocessing
def M(conn):
while 1:
recv_ = conn.recv()
print('机器人收到:%s'%recv_)
if recv_ == "你好":
conn.send('你好~~')
elif recv_ == "你今天真好看":
conn.send('你每天都好看~~')
else:
conn.send('我听不懂了~~')
def P(conn):
y = 'y'
while y != 'n':
input_ = input("人说:")
conn.send(input_)
print(conn.recv())
if __name__=="__main__":
conn_M,conn_P = multiprocessing.Pipe()
p_M = multiprocessing.Process(target=M,args=(conn_M,))
p_M.start()
P(conn_P)
全局变量不可共享进程
import multiprocessing
import os
data = []
def List():
global data
data.append(1)
data.append(2)
data.append(3)
print('p',os.getpid(),data)
if __name__ == '__main__':
p = multiprocessing.Process(target=List,args=()).start() # 子进程
data.append('a') # 脚本主进程
data.append('b')
data.append('c')
print('main',os.getpid(),data)
queue队列
队列可以进程共享
import multiprocessing
import os
queue = multiprocessing.Queue()
# 注意队列只能单向,要么是父进程插入子进程取出,要么是子进程插入父进程取出
def func(myq):
print(os.getpid())
myq.put([1, 2, 3, 4]) # 子进程插入
if __name__ == '__main__':
print(os.getpid())
# queue.put(['a','b']) # 这里若是脚本父进程先插入了,子进程就没法再插入了
p = multiprocessing.Process(target=func, args=(queue,))
p.start()
print(queue.get()) # 脚本父进程取出
队列特征
1.获取不到一直等待
2.放一个取一个
import multiprocessing
import os
queue = multiprocessing.Queue()
def adddata(queue, i): # 子进程调用的函数
queue.put(i)
print('put', os.getppid(), os.getpid(), i)
if __name__ == '__main__': # 脚本父进程
mylist = []
for i in range(10):
p = multiprocessing.Process(target=adddata, args=(queue, i)) # 子进程
p.start()
# print(queue.get())
mylist.append(queue.get()) # get拿不到东西会一直等待
获取不到的解决方案
●Queue.qsize()
返回队列的大致大小。注意,qsize() > 0 不保证后续的 get() 不被阻塞,qsize() < maxsize 也不保证 put() 不被阻塞。
●Queue.empty()¶
如果队列为空,返回 True ,否则返回 False 。如果 empty() 返回 True ,不保证后续调用的 put() 不被阻塞。类似的,如果 empty() 返回 False ,也不保证后续调用的 get() 不被阻塞。
●Queue.full()
如果队列是满的返回 True ,否则返回 False 。如果 full() 返回 True 不保证后续调用的 get() 不被阻塞。类似的,如果 full() 返回 False 也不保证后续调用的 put() 不被阻塞。
●Queue.put(item, block=True, timeout=None)
将 item 放入队列。如果可选参数 block 是 true 并且 timeout 是 None (默认),则在必要时阻塞至有空闲插槽可用。如果 timeout 是个正数,将最多阻塞 timeout 秒,如果在这段时间没有可用的空闲插槽,将引发 Full 异常。反之 (block 是 false),如果空闲插槽立即可用,则把 item 放入队列,否则引发 Full 异常 ( 在这种情况下,timeout 将被忽略)。
●Queue.get(block=True, timeout=None)
从队列中移除并返回一个项目。如果可选参数 block 是 true 并且 timeout 是 None (默认值),则在必要时阻塞至项目可得到。如果 timeout 是个正数,将最多阻塞 timeout 秒,如果在这段时间内项目不能得到,将引发 Empty 异常。反之 (block 是 false) , 如果一个项目立即可得到,则返回一个项目,否则引发 Empty 异常 (这种情况下,timeout 将被忽略)。
进程数据共享
import multiprocessing
def func(num):
num.value = 10
if __name__ == '__main__':
# multiprocessing.Value可以在不同进程之间共享数据
num = multiprocessing.Value('d', 1) # double float
print(num.value) # 单单num返回的结果 Synchronized wrapper for c_double(1.0)
p = multiprocessing.Process(target=func, args=(num,))
p.start()
p.join()
print(num.value)