Python 编程：多线程为 for 循环提速

点击下方卡片，关注“小白玩转Python”公众号

for 循环是编程的一个基本方面，它允许我们迭代序列并高效地执行操作。然而，在处理耗时任务时，for 循环的顺序性质可能成为瓶颈。一个解决方案是使用线程。学习：如何使用、何时使用以及何时不使用线程。像往常一样，你可以在我的 GIT 仓库中找到代码示例。链接在页脚。

让我们从一个例子开始。我们将伪造并模拟一个耗时的任务。我们将使用一个 Python 脚本，该脚本通过 for 循环对数字列表进行处理，通过 square_number 函数将每个数字平方：

import time


# List of numbers to process
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]


# Function to square a number
def square_number(number):
    time.sleep(1)  # Simulate a time-consuming task
    return number * number


# Using a for loop to process each number
squared_numbers = []
start_time = time.time()
for number in numbers:
    squared_numbers.append(square_number(number))


end_time = time.time()


print("Squared numbers:", squared_numbers)
print("Time taken:", end_time - start_time, "seconds")
# Time taken: 10.082990884780884 seconds

这个脚本按顺序处理列表中的每个数字，由于 square_number 函数中的 time.sleep(1) 调用，每个数字耗时 1 秒。总执行时间为 10.1 秒。

使用多线程优化

接下来，我们将使用多线程方法来优化这一点，以改善处理时间。为了使用多线程优化上述示例，我们可以使用 Python 的 concurrent.futures 模块，它为异步执行可调用对象提供了一个高级接口。以下是如何修改脚本以使用多线程：

import time
from concurrent.futures import ThreadPoolExecutor


# List of numbers to process
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]


# Function to square a number
def square_number(number):
    time.sleep(1)  # Simulate a time-consuming task
    return number * number


# Using ThreadPoolExecutor for multithreading
squared_numbers = []
start_time = time.time()


with ThreadPoolExecutor(max_workers=10) as executor:
    results = executor.map(square_number, numbers)


# Collect the results
squared_numbers = list(results)


end_time = time.time()


print("Squared numbers:", squared_numbers)
print("Time taken:", end_time - start_time, "seconds")
# Time taken: 2.0257720947265625 seconds

在这个优化的脚本中，我们使用 ThreadPoolExecutor 创建一个线程池。executor.map 函数将 square_number 函数分布到线程中，以并行方式处理数字。通过将 max_workers 设置为 5，我们允许最多 5 个线程同时运行，这应该会显著减少总处理时间。请随意调整 max_workers 参数，以找到特定用例的最佳线程数。

何时使用多线程

正如你所见，多线程可以在各种场景中提供显著的速度提升。但它并不适用于所有任务。以下是多线程特别有益的一些典型用例：

1. I/O 绑定任务：

   文件 I/O：读取和写入文件，特别是处理大文件或多个文件时。

   网络 I/O：同时处理多个网络连接，例如网络抓取、下载文件或处理 web 服务器中的请求。

   数据库操作：执行 I/O 绑定的数据库查询，例如获取或更新大型数据集。

2. 并发任务：

   实时数据处理：实时处理来自多个传感器或流的数据，例如在 IoT 应用中。

   GUI 应用程序：通过在后台运行耗时任务，保持用户界面的响应性。

3. 独立任务的并行处理：

   批量处理：处理大量可以并行执行的独立任务，例如图像处理或数据转换任务。

   模拟：同时运行多个模拟或蒙特卡洛实验。

何时不使用多线程

虽然多线程可以提供显著的速度提升，但它并不总是每个问题的最好解决方案。以下是它可能不适用的一些场景：

• CPU 绑定任务：如果任务严重依赖 CPU 并且不涉及太多等待（如纯数学计算），使用 multiprocessing 模块创建单独的进程可能更有效。
  

• 全局解释器锁 (GIL)：在 CPython 中，全局解释器锁可能会限制多线程在 CPU 绑定任务中的性能提升。在这种情况下，多进程或使用没有 GIL 的实现，如 Jython 或 IronPython，可能更有效。
  

• 复杂的共享状态：跨多个线程管理复杂的共享状态可能会引入与竞态条件、死锁和线程安全性相关的挑战和错误。

通过了解任务的性质和潜在瓶颈，你可以决定多线程是否是应用程序的适当解决方案。

专业提示 — 使用装饰器

装饰器可以用来以更优雅和可重用的方式为函数添加多线程。装饰器是一个函数，它接受另一个函数并扩展其行为，而不需要显式修改它。

import time
from concurrent.futures import ThreadPoolExecutor, as_completed


# Decorator to add multithreading
def multithreaded(max_workers=5):
    def decorator(func):
        def wrapper(*args, **kwargs):
            with ThreadPoolExecutor(max_workers=max_workers) as executor:
                future_to_args = {executor.submit(func, arg): arg for arg in args[0]}
                results = []
                for future in as_completed(future_to_args):
                    arg = future_to_args[future]
                    try:
                        result = future.result()
                    except Exception as exc:
                        print(f'{arg} generated an exception: {exc}')
                    else:
                        results.append(result)
                return results
        return wrapper
    return decorator


# Function to square a number
@multithreaded(max_workers=5)
def square_number(number):
    time.sleep(1)  # Simulate a time-consuming task
    return number * number


# List of numbers to process
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]


# Using the decorated function
start_time = time.time()
squared_numbers = square_number(numbers)
end_time = time.time()


print("Squared numbers:", squared_numbers)
print("Time taken:", end_time - start_time, "seconds")

使用装饰器处理多线程不仅简化了代码，还使其更可重用和更清晰。你可以轻松地将 @multithreaded 装饰器应用于任何需要并行执行的函数，为优化你的 Python 代码提供了一种灵活而强大的方式。

结论

多线程是优化 Python 中 for 循环的强大工具，特别是对于 I/O 绑定和并发任务。通过利用 concurrent.futures 模块，你可以显著减少处理时间并提高程序的效率。然而，评估你的特定用例以确定多线程是否是最佳方法至关重要，特别是当你处理 CPU 绑定任务或复杂的共享状态时。通过仔细考虑和实施，多线程可以大大增强你的应用程序的性能。

·  END  ·
🌟 想要变身计算机视觉小能手？快来「小白玩转Python」公众号！
回复“Python视觉实战项目”，解锁31个超有趣的视觉项目大礼包！🎁



本文仅供学习交流使用，如有侵权请联系作者删除