Python multiprocessing模块文件描述符泄露

背景

因为最近公司的某个项目需要对接依图科技的实时语音转写服务,但由于对方只提供了Java与Python的接口(其实依图科技的实时语音转写接口采用的是grpc,虽然我给领导提过可以让对方用proto文件快速生成其他语言的接口,但无赖领导没有采纳),而我们的产品是基于C/C++的,所以决定用Python写一个中转服务(如果开始知道Python这么多坑,我一定选Java)。

问题

由于GIL的存在,Python服务器就只能采用accept-fork模式,但服务运行一段时间后,抛出异常信息——文件描述符溢出——,确定fork前除了监听套接字与连接套接字外,没有创建其他文件描述符,而且fork之后在父进程关闭了连接套接字,在子进程关闭了监听套接字,理论上不应该存在文件描述符泄露。

解决方案

最后使用lsof命令查看父进程的相关记录,发现有未关闭的PIPE。后面查看multiprocessing的代码,发现start方法会默认创建一个PIPE用于与子进程通信,该pipe的描述符保存在sentinel字段,官网关于sentinel的描述

A numeric handle of a system object which will become “ready”
when the process ends.
You can use this value if you want to wait on several events at once using multiprocessing.connection.wait(). Otherwise calling join() is simpler.
O

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 下面是一个使用python `multiprocessing` 模块实现多进程的示例代码: ``` import multiprocessing def worker(number): print(f'Worker {number} is running') if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) p.start() ``` 这段代码创建了5个进程,每个进程都执行`worker`函数,并打印出进程编号。 ### 回答2: 下面是一个使用Python multiprocessing模块实现多进程的示例代码: ```python import multiprocessing def worker(name): print(f'Worker {name} 执行') if __name__ == '__main__': processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() ``` 以上代码创建了5个进程,并通过worker函数在每个进程中执行一些任务。在主程序的主函数中,先创建一个进程列表用于存储即将被创建的进程对象。 在for循环中,通过multiprocessing.Process类创建一个进程对象,将要执行的任务指定为worker函数,并传递一个参数i给worker函数。然后将新创建的进程对象添加到进程列表中。 接着,使用p.start()启动每个进程。 最后,使用p.join()等待每个进程执行完毕,确保所有进程都执行完毕后再继续主程序的执行。 运行以上代码,你会看到五个进程同时被创建并执行,不同进程之间的输出顺序可能会有不同。 ### 回答3: 多进程可以通过Pythonmultiprocessing模块来实现。下面是一个使用Python multiprocessing模块实现多进程的示例代码: ```python import multiprocessing def worker(num): """Worker function""" print(f'Worker {num} started') # do some work print(f'Worker {num} finished') if __name__ == '__main__': # 创建多个进程 processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() # 等待进程结束 for process in processes: process.join() ``` 在上述代码中,我们首先定义了worker函数作为每个进程要执行的任务。然后,在主程序中使用for循环创建了5个进程,并将它们存储在一个列表中。每个进程都使用multiprocessing.Process类创建,并指定了要执行的目标函数和传递给它的参数。然后,我们通过调用start()方法来启动每个进程。 在所有进程都启动后,我们通过调用join()方法来等待每个进程的结束。这样可以确保主程序在所有子进程执行完毕之前不会退出。 运行上面的代码,你会看到每个进程都会输出"Worker x started"和"Worker x finished"的信息,其中x是进程的编号。 使用Pythonmultiprocessing模块可以帮助我们实现多进程编程,从而在计算机上同时执行多个任务,提高程序的运行效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值