Python--multiprocessing

作用：

• 提供一个API来管理进程
• multiprocessing模块包含一个API，它基于threading API可以在多个进程间划分工作。有些情况下，multiprocessing可以作为临时替代，取代threading来利用多个CPU内核，避免Python全局解释器锁带来的计算瓶颈
• 要创建第二个进程，最简单的方法是一个目标函数实例化一个Process对象，并调用start()让它开始工作
• 为了确保模块导入时不会再各个子进程中递归的运行，可以从一个单独的脚本导入目标函数

版本：

• 2.6及以后版本

函数：

• Process(target, args)
  • 与threading不同，要向一个multiprocess Process传递参数，这个参数必须能够使用pickle串行化
• current_process()
  • 返回当前进程
  • multiprocessing.current_process().name返回当前进程的名字
• Process对象
  • start()
  • join(seconds)：等待一个进程完成工作并退出，seconds表示等待的秒数
  • terminate()：强制结束子进程；终止进程后要使用join()退出进程，使进程管理代码有时间更新对象的状态，以反映进程已经终止
• log_to_stderror()
• get_logger()
  • 返回日志记录器
• multiprocessing.Queue对象
  • put()
  • get()
  • close()
  • join_thread()
• multiprocessing.JoinableQueue对象
• multiprocessing.Event对象
  • wait(seconds)：等待设置状态，seconds为可选的参数
  • set()：设置状态
  • is_set()：测试是否设置了状态
• multiprocessing.Lock对象
  • acquire()
  • release()
• multiprocessing.Condition对象
  • acquire()
  • release()
  • wait()
  • notify_all()
• multiprocessing.Semaphore对象
  • 初始化Semaphore对象时可以通过初试的访问限制数，用来控制该资源可以同时被多少个工作进程访问
  • acquire()
  • release()
• multiprocessing.Manager对象
  • Manager对象负责协调所有用户之间的共享信息状态；通过Manager创建的列表或字典等容器将会共享，所有进程都能看到这个列表的更新
  • list()：返回列表容器
  • dict()
• multiprocessing.Namespace对象
  • 可以往共享namespace中添加任意命名值，并且这些命名值对所有接收namespace实例的客户都可见
  • 对命令空间中可变值内容（list、dict）的更新不会自动传播，可以通过将它再次关联到命名空间对象到达传播更新的目的
• multiprocessing.Pool对象
  • map()
  • close()
  • join()
• cpu_count()
  • 返回cpu个数

应用：

• 守护进程
  • 将进程的daemon属性设置为True，就可以将进程标志为守护进程，默认情况下进程不作为守护进程
  • 默认情况下，在所有子进程退出之前主程序不会退出
• 进程退出状态
  • 进程退出时生成的状态码可以通过exitcode属性访问
• 调试日志
  • 可以使用一个模块级函数来启用日志记录，名为log_to_stderr(logging.DEBUG)，它使用logging建立一个日志记录器对象，并增加一个处理程序，使得日志消息将发送到标准错误通道
  • 可以在线程中使用sys.stdout.flush()刷新输出通道
  • 默认情况下，日志级别设置为NOTSET，即不产生任何信息
• 派生进程
  • 通过继承multiprocessing.Process来定制进程子类，派生类应该覆盖run()来完成工作
• 向进程传递消息
  • 利用multiprocessing完成进程间通信的一种简单方法是使用一个Queue来回传递消息，能够用pickle串行化的任何对象都可以通过Queue传递
• 进程间信号传递
  • Event类提供了一种简单的方法，可以在进程之间传递状态信息；通过使用一个可选的超时值，事件对象的用户可以等待其状态从未设置变为设置
• 控制资源访问
  • 如果需要在多个进程间共享一个资源，可以使用一个Lock来避免访问冲突
• 同步操作
  • Condition对象可以用来同步一个工作流的各个部分，使其中一些部分并行运行，而另外一些顺序运行，即使它们在单独的进程中
• 控制资源的并发访问
  • Semaphore可以用来限制一个资源可以同时被多少个进程访问
• 共享命名空间
  • Namespace可以提供一个共享的namespace
• 进程池
  • 可以用Pool类来管理固定数目的工作进程。作业的返回值会收集并作为一个列表返回。池（pool）参数包括进程数以及启动任务进程时要运行的函数（对每个子进程调用一次）