为了最大限度利用机器的CPU资源,可以用多进程和多线程两种方式。
多进程采用fork函数,子进程完全复制父进程fork函数调用的状态,使用独立内存空间,子进程与子进程以及父进程相互独立,就算某个子进程挂了,也不会影响其他子进程,特别适合于Web服务,可以确保用户体验。但是进程不能太多,否则资源都消耗在进程切换上。
多线程在进程内部创建,共享进程内存空间,线程创建的开销相对进程较小,但某个线程异常会导致整个进程退出。
多进程和多线程应该配合使用,个人觉得原则如下:
1、在程序启动的时候,可以创建多进程任务,在程序运行过程中,可以创建多线程任务。
2、相互独立的任务,可以采用多进程,数据关联性较大的任务,可以采用多线程。
Python必须采用多进程,因为Python的GIL-Global Interpreter Lock机制,只能用到一个核。