python弹出框 阻塞进程_python进程阻塞问题排查实践

由于在python中采用GIL(全局解释锁)来保证解释器的线程安全，因此python中的多线程实际上是伪多线程。在提供给算法团队通信框架时，考虑采用多进程的架构来保证运行时的效率。

框架进程结构图

通常情况下，gunicorn进程和Flask进程为1:n的关系。由于每个算法进程有状态这一特殊性，即通信过程中，对于同一个任务的交互需要打到同一个算法进程，因此Flask进程只能为1，和gunicorn进程1:1对应。

在实际生产环境中，发现运行一段时候后，系统会出现进程阻塞，然后整个进程池用不了的问题。即比如算法进程1执行完毕，然而并没有调用Flask进程中的回调方法，此时算法进程1没有被进程池回收再利用，之后算法进程2和算法进程3会再出现同样阻塞的问题。如果进程池数量为3的话，则之后的请求进程池无法响应，只能进入到阻塞队列中。

进程阻塞

然而，阻塞进程池的问题只能在运行一段时间出现，并不能稳定复现，这给进一步排查带来了很大困扰，只能通过各种测试去排查可能出现的原因。

经过测试，发现如果算法进程中不开启算法子进程的话，则不会出现进程阻塞的问题。因此，初步判定启动算法子进程可能会导致阻塞它的父进程算法进程。

那么，为什么在算法进程中开启子进程会阻塞它的父进程呢？

python启动子进程和linux一致，都是通过fork的方式，那么fork具体是如何实现的，带着这个疑问，查到一篇文章《fork多线程