多进程异常捕获

2019独角兽企业重金招聘Python工程师标准>>>

最近在调试程序时总会莫名奇妙的发生一些异常，就现象来说就是多进程程序莫名奇妙的退出，并且不报出错的堆栈信息。。。

改为单进程跟踪后，发现下面语句中写错了个\d：

def launch(s, e, i)
# ...
print 'Process -%d\tnum: %d\tsuccess: %d\tdiscard: %d\tnull_num: \d\terr: %d\ttime_clock: %s' % \
      (pid, num, cnt, discard, null_num, err, str(time.clock()))
# ...
if __name__ == "__main__":
    for i in range(2):
        _start = 1
        _end = 100
        pool.apply_async(launch, (_start, _end, i))
    pool.close()
    pool.join()

单进程调试时:

def launch()
# ...
print 'Process -%d\tnum: %d\tsuccess: %d\tdiscard: %d\tnull_num: \d\terr: %d\ttime_clock: %s' % \
      (1, 2, 3, 4, 5, 6, str(time.clock()))
# ...
if __name__ == "__main__":
    for i in range(2):
        _start = 1
        _end = 100
        pool.apply_async(launch)
    pool.close()
    pool.join()

报错如下：

 Traceback (most recent call last):
  File "E:/repository/datafuse/snowball/src/abs_person_import_133_debug.py", line 920, in <module>
    launch(1,100,0)
  File "E:/repository/datafuse/snowball/src/abs_person_import_133_debug.py", line 907, in launch
    (pid, num, cnt, discard, null_num, err, str(time.clock()))
TypeError: not all arguments converted during string formatting

经分析发现，由于采用多进程执行方式，在启动子进程后，进程异常输出不会在当前终端（ssh 连接）显示，猜测可能是子进程不占用终端输出，因而不会打印异常堆栈。

然而，当程序修改如下后，依然不报错了。。。。。。(╯‵□′)╯︵┻━┻

def launch(a, b, c)
# ...
print 'Process -%d\tnum: %d\tsuccess: %d\tdiscard: %d\tnull_num: \d\terr: %d\ttime_clock: %s' % \
      (a, b, c, 4, 5, 6, str(time.clock()))
# ...

if __name__ == "__main__":

    for i in range(2):
        _start = 1
        _end = 100
        pool.apply_async(launch, (1, 100, 0))

    pool.close()
    pool.join()

  考虑可能是由于使用了参数，导致pool中处理流程发生了改变。

断网了。。。（未完待续）

转载于:https://my.oschina.net/u/2269890/blog/488731