python进程数上限_python 多进程数量 对爬虫程序的影响

1. 首先看一下 python 多进程的优点和缺点

多进程优点：

1.稳定性好： 多进程的优点是稳定性好，一个子进程崩溃了，不会影响主进程以及其余进程。基于这个特性，常常会用多进程来实现守护服务器的功能。

然而多线程不足之处在于，任何一个线程崩溃都可能造成整个进程的崩溃，因为它们共享了进程的内存资源池。

2.能充分利用多核cpu： 由于python设计之初，没预料到多核cpu能够得到现在的发展，只考虑到了单核cpu。为了更好的实现多线程之间数据完整性与状态同步，

于是设计出了一个全局解析器锁(GIL, global interpreter lock)。

GIL确保Python进程一次运行一个线程(其它线程处于等待I/O或者睡眠状态)，无论当前cpu有多少核心。这就意味着Python虽然可以实现多线程，

但是在任意时间点仅有一个核心在执行Python指令(即线程无法并行运算)，无法发挥现代多核cpu的性能。而多进程可以利用多核cpu。

多进程缺点：

1. 创建进程的代价非常大： 因为操作系统要给每个进程分配固定的资源，并且操作系统对进程的总数会有一定的限制，若进程过多，操作系统调度都会存在问题，会造成假死状态。

2. 进程间通信成本高： 每个进程都有自己独立的内存空间，不同进程之间的内存空间不共享。进程之间的通信有操作系统传递，导致通讯效率低，切换开销大。

通信主要通过信号传递的方式来实现(实现方式有多种，信号量、管道、事件等，通讯都需要过内核，效率低)

3. 切换开销大： 上下文切换的时候需要保存栈、