Python的异步文件IO操作

前一篇提到了用subprocess进行与应用的stdin和stdout交互,目前还是stdout处理得多。项目有这样的要求,需要代码能过同时在Linux和Windows下用,为防止应用挂起,需要进行异步IO操作,这样可通过timeout来处理超时。

麻烦问题又来了:Python2.7.x和Python3.2下的Popen都没有提供基于文件的异步IO操作,且项目必须使用Python2.x,应为较多第三方的库没有Python3.x的版本。

整理了一下异步IO的方法,其实是workaround吐舌头

1,如果在Linux下,可用用select来处理超时,以此实现异步IO;但在Windows下的select不支出file对象--只支持socket对象,这个方法可以毙掉了。

2,应用有stdout可以获取,那么必然可以将此stdout重定向到文件,然后再对此文件进行read操作。这样对file的read就不会blocking,每读取一行数据就进行退出条件检查以及超时检查,遇到EOF时可进行sleep,然后再continue,再read -- 此时应用还在向文件写入数据,直到满足退出条件或者timeout。如果也需要获取stderr的话,可以把stderr指向stdout,如 'app > output.txt 2<&1'。次方法在Linux和Windows下通用,实践可行,目前没发现有什么大硬伤。

3,重载Popen,实现异步IO操作,尝试了下,bug多,难满足需求,只因本人功力太浅啊。


Reference: Asynchronous I/O For subprocess. Popen PEP-3145

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值