不得不注意tornado多进程部署的副作用

tornado多进程启动通过fork创建子进程,可能导致logging模块日志错乱和socket竞争问题。子进程继承了父进程的logging fd和socket,需要延迟Logger实例化并避免共享socket。建议使用单进程多实例部署加反向代理来规避副作用。
摘要由CSDN通过智能技术生成

tornado多进程启动时,采用的是fork的方式。

一个现有进程可以调用fork函数创建一个新进程。由fork创建的新进程被称为子进程(child process)。fork函数被调用一次但返回两次。两次返回的唯一区别是子进程中返回0值而父进程中返回子进程ID。
子进程是父进程的副本,它将获得父进程数据空间、堆、栈等资源的副本。注意,子进程持有的是上述存储空间的“副本”,这意味着父子进程间不共享这些存储空间(百度百科上的错误)如果采用copy on write技术,在存储的内容未发生修改前父子进程是共享同一份存储空间
UNIX将复制父进程的地址空间内容给子进程,因此,子进程有了独立的地址空间。在不同的UNIX (Like)系统下,我们无法确定fork之后是子进程先运行还是父进程先运行,这依赖于系统的实现。所以在移植代码的时候我们不应该对此作出任何的假设。

上述内容摘自百度百科对fork函数的说明,在调用fork函数产生的子进程将会获得父进程的数据空间、堆、栈等资源的“副本”,这里的“副本”有可能是存储空间的同一份。父进程打开的文件句柄,socket等资源也会被原封不动的拷备给子进程。

最常出现的问题就是logging模块,python的logging模块是线程安全的,但不是进程安全的。如果在fork子进程之前开始实例化logging模块,各个子进程都会共享了同一个fd,所以会出现日志错乱的问题。为了避免这个问题,各个进程打都输出到独立的文件,延后Logger的实例化。

sockets = tornado.netutil.bind_sockets(int(options.port))
fork_id = tornado.process.fork_processes(int(redis_info.num_processes))
server = tornado.httpserver.HTTPServer(application)
server.add_sockets(sockets)
#实现logger init方式,接收fork_id来控制文件名
logger.init(fork_id)

另一点就是socket的复用导致的问题,实现了一个python版本的dubbo客户端,连接发送方式如下。在使用过程中,fork进程之前实例化了一个client, 并保持了一个socket。

def 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flask和Tornado都是Python的Web框架,它们提供了一种方式来构建和部署Web应用程序。关于多进程的问题,这两个框架有一些不同的处理方式。 在Flask中,多进程可以通过使用WSGI服务器来实现。WSGI(Web Server Gateway Interface)是Python应用程序和Web服务器之间的通用接口。你可以使用像Gunicorn、uWSGI或者mod_wsgi这样的WSGI服务器来运行Flask应用程序,并配置它们以使用多个工作进程来处理并发请求。这样就可以充分利用系统资源,提高应用程序的性能和并发处理能力。 在Tornado中,它本身就是一个异步的Web服务器,基于单线程事件循环的模型。默认情况下,Tornado在单个进程中运行,并通过事件循环来处理并发请求。然而,Tornado也支持多进程部署。你可以使用Tornado提供的`tornado.process`模块来创建多个子进程,并在每个子进程中运行一个独立的Tornado实例。这样可以通过利用多个CPU核心来提高应用程序的并发处理能力。 需要注意的是,使用多进程部署时需要考虑共享资源的问题,例如数据库连接、缓存等。你需要确保在多个进程之间正确管理和同步这些资源,以避免冲突和数据不一致的问题。 总结来说,无论你选择使用Flask还是Tornado,都可以通过使用适当的服务器来实现多进程部署,从而提高应用程序的性能和并发处理能力。具体的实现方式会根据你选择的服务器和部署环境而有所不同。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值