同学，你的多线程可别再乱 join 了！

最新推荐文章于 2023-06-01 15:15:08 发布

菜鸟学Python

最新推荐文章于 2023-06-01 15:15:08 发布

阅读量544

点赞数 1

原文链接：http://www.cainiaopython.com

版权

摄影：产品经理

水天一色

如果你在网上搜索“Python 多线程”，那么你会看到很多文章里面用到了一个关键词，叫做.join()。但是很多人的代码里面都在乱用 join()，例如：

import time
import threading

def sleep_5_seconds():
    time.sleep(5)
    print('睡眠5秒结束')

def sleep_3_seconds():
    time.sleep(3)
    print('睡眠3秒结束')


def sleep_8_seconds():
    time.sleep(8)
    print('睡眠8秒结束')


thread_1 = threading.Thread(target=sleep_8_seconds)
thread_2 = threading.Thread(target=sleep_5_seconds)
thread_3 = threading.Thread(target=sleep_5_seconds)
thread_1.start()
thread_2.start()
thread_3.start()
thread_1.join()
thread_2.join()
thread_3.join()

运行效果如下图所示：

更有甚者，这样写代码：

thread_1.start()
thread_1.join()
thread_2.start()
thread_2.join()
thread_3.start()
thread_3.join()

运行效果如下图所示：

发现三个线程是串行执行的，要运行一共8+5+3=16秒才能结束，于是得出结论——Python 由于有 GIL 锁的原因，所以多线程是一个线程运行完才运行另一个线程。

抱有这种想法的人，是根本不知道.join()有什么用，就在跟着别人乱用，以为只要使用多线程，那么每个线程都必须要 join。

实际上，根本不是这样的，你只需要 join运行时间最长的那个线程就可以了：

你会发现这样的运行效果，跟每个线程 join 一次是完全一样的。

要理解这个问题，我们需要知道，join 有什么作用。

当我们没有 join 的时候，我们会发现子线程似乎也能正常运行，如下图所示：

三个子线程启动以后，主线程会继续运行后面的代码。

那 join 到底有什么用呢？join 会卡住主线程，并让当前已经 start 的子线程继续运行，直到调用.join的这个线程运行完毕。

所以，如果代码写为：

thread_1.start()
thread_1.join()
thread_2.start()
thread_2.join()
thread_3.start()
thread_3.join()

当代码运行到thread_1.join()时，主线程就卡住了，后面的thread_2.start()根本没有执行。此时当前只有 thread_1执行过.start()方法，所以此时只有 thread_1再运行。这个线程需要执行8秒钟。等8秒过后，thread_1结束，于是主线程才会运行到thread_2.start()，第二个线程才会开始运行。所以这个例子里面，三个线程串行运行，完全是写代码的人有问题，而不是什么 GIL 锁的问题。

而当我们把代码写为：

thread_1.start()
thread_2.start()
thread_3.start()
thread_1.join()
thread_2.join()
thread_3.join()

当代码执行到thread_1.join()时，当前三个子线程均已经执行过.start()方法了，所以此时主线程虽然卡住了，但是三个子线程会继续运行。其中线程3先结束，然后线程2结束。此时线程1还剩3秒钟，所以此时thread_1.join()依然是卡住的状态，直到线程1结束，thread_1.join()解除阻塞，代码运行到thread_2.join()中，但由于thread_2早就结束了，所以这行代码一闪而过，不会卡住。同理，thread_3.join()也是一闪而过。所以整个过程中，thread_2.join()和thread_3.join()根本没有起到任何作用。直接就结束了。

所以，你只需要 join 时间最长的这个线程就可以了。时间短的线程没有 join 的必要。根本不需要把这么多个 join 堆在一起。

为什么会有 join 这个功能呢？我们设想这样一个场景。你的爬虫使用10个线程爬取100个 URL，主线程需要等到所有URL 都已经爬取完成以后，再来分析数据。此时就可以通过 join 先把主线程卡住，等到10个子线程全部运行结束了，再用主线程进行后面的操作。

那么可能有人会问，如果我不知道哪个线程先运行完，那个线程后运行完怎么办？这个时候是不是就要每个线程都执行 join 操作了呢？

确实，这种情况下，每个线程使用 join是合理的：

thread_list = []
for _ in range(10):
    thread = threading.Thread(target=xxx, args=(xxx, xxx)) 换行thread.start()
    thread_list.append(thread)

for thread in thread_list:
    thread.join()