python fork多线程进程时的坑

最新推荐文章于 2024-09-19 13:37:00 发布

offbye

最新推荐文章于 2024-09-19 13:37:00 发布

阅读量979

点赞数

分类专栏： Python 文章标签： python 开发语言后端

原文链接：https://www.cnblogs.com/ajianbeyourself/p/8167746.html

版权

Python 专栏收录该内容

35 篇文章 1 订阅

订阅专栏

Python在fork多线程的进程时，创建的子进程只包含一个线程，该线程是调用fork函数的那个线程的副本。在man fork中，有The child process is created with a single thread—the one that called fork().这句话，亲测的确如此。在多线程进程中，为了多线程的同步及互斥，会有锁，在fork时，这些锁会一同fork到子进程中，这会导致一些问题，见下文。个人建议，最好不要fork多线程的进程，除非你有能力解决这个问题。在python的multiprocessing库中，就fork了多线程的进程。Queue中使用了线程将入队的消息放入管道，如果父进程使用了Queue.put()，那用Process()类创建子进程时，就会fork Queue类，但不会fork它里面的线程。multiprocessing的Process()创建子进程应该是解决上面提到的fork多线程进程时，锁相关的问题

import datetime
import time
import threading
import os
import thread
from multiprocessing import Process

def print_thread(*args):
    st = datetime.datetime.now()
    while True:
        now = datetime.datetime.now()
        print 'thread, now={}, tid={}, pid={}'.format(str(now), thread.get_ident(), os.getpid())
        time.sleep(1)
        if now - st > datetime.timedelta(minutes=30):
            break

def print_proc(*args):
    st = datetime.datetime.now()
    while True:
        now = datetime.datetime.now()
        print 'sub process, now={}, pid={}'.format(str(now), os.getpid(), os.getppid())
        time.sleep(1)
        if now - st > datetime.timedelta(minutes=30):
            break

if __name__ == '__main__':
    print 'main process, pid={}'.format(os.getpid())
    t = threading.Thread(target=print_thread)
    t.start()
    time.sleep(2)
    print 'create sub process'
    p = Process(target=print_proc)
    p.start()

执行结果如下：

main process, pid=5442
thread, now=2018-01-01 19:30:19.570559, tid=139746090014464, pid=5442
thread, now=2018-01-01 19:30:20.576551, tid=139746090014464, pid=5442
create sub process
thread, now=2018-01-01 19:30:21.584519, tid=139746090014464, pid=5442
sub process, now=2018-01-01 19:30:21.585514, pid=5448
thread, now=2018-01-01 19:30:22.586036, tid=139746090014464, pid=5442
sub process, now=2018-01-01 19:30:22.586514, pid=5448
thread, now=2018-01-01 19:30:23.587206, tid=139746090014464, pid=5442
sub process, now=2018-01-01 19:30:23.587485, pid=5448