python学习——多进程

进程

概念：系统资源分配的最小单位，依赖于进程

特点：

• 程序运行起来，就会给其创建一个主进程，等待子进程结束后，再结束
• 进程调用start()方法后就进入了运行态
• 写时拷贝处理数据，通过args给进程传递数据
• 从系统开销讲，进程>线程>协程
• group：指定进程组，大多数情况下用不到

查看进程方法：        win：任务管理器            linux：top、htop、ps-aux
查看进程号os.getpid、os.getppid（查看父进程的id）

创建：multiprocessing模块Process类创建一个对象

代码：

import multiprocessing
p = multiprocessing.Process(target = 函数名,args=参数)
p.start()

Process语法结构如下

• target：如果传递了函数的引用，可以任务这个子进程就执行这里的代码
• args：给target指定的函数传递的参数，以元组的方式传递
• kwargs：给target指定的函数传递命名参数
• name：给进程设定一个名字，可以不设定
• group：指定进程组，大多数情况下用不到

Process创建的实例对象的常用方法

• start()：启动子进程实例（创建子进程）
• is_alive()：判断进程子进程是否还在活着
• join([timeout])：是否等待子进程执行结束，或等待多少秒
• terminate()：不管任务是否完成，立即终止子进程

进程、线程对比

• 进程，能够完成多任务，比如 在一台电脑上能够同时运行多个QQ
• 线程，能够完成多任务，比如 一个QQ中的多个聊天窗口

进程间的通信Queue

创建：multiprocessing模块Queue类

代码：

q = multiprocessing.Queue()				# 创建一个队列对象
q.put()									# 发送数据
p.get()									# 接收数据    （先进先出）

Queue的方法

• Queue.qsize()：返回当前队列包含的消息数量；

• Queue.empty()：如果队列为空，返回True，反之False ；

• Queue.full()：如果队列满了，返回True,反之False；

• Queue.get([block[, timeout]])：获取队列中的一条消息，然后将其从列队中移除，block默认值为True；

进程池

• 进程池是创建固定数量的进程，让任务在进程中运行，不去反复创建和关闭进程，从而节省资源
• 但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。

创建：

代码：

import multiprocessing
po = multiporcessing.Pool()				#创建进程池参数为进程数
po.apply_async(函数名,(i,))				#添加进程到进程池里面，参数是一个元组

multiprocessing.Pool常用函数解析：

• apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；
• close()：关闭Pool，使其不再接受新的任务；
• terminate()：不管任务是否完成，立即终止；
• join()：主进程阻塞，等待子进程的退出， 必须在close或terminate之后使用；

进程池中的Queue

• 如果要使用Pool创建进程，就需要使用multiprocessing.Manager()中的Queue()， 而不是multiprocessing.Queue()， 否则会得到一条如下的错误信息： RuntimeError: Queue objects should only be shared between processes through inheritance.