【深度学习笔记】8_3 自动并行计算

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图

8.3 自动并行计算

上一节提到，默认情况下，GPU 操作是异步的。当调用一个使用 GPU 的函数时，这些操作会在特定的设备上排队，但不一定会在稍后执行。这允许我们并行更多的计算，包括 CPU 或其他 GPU 上的操作。
下面看一个简单的例子。

首先导入本节中实验所需的包或模块。注意，需要至少2块GPU才能运行本节实验。

import torch
import time

assert torch.cuda.device_count() >= 2

我们先实现一个简单的计时类。

class Benchmark():  # 本类已保存在d2lzh_pytorch包中方便以后使用
    def __init__(self, prefix=None):
        self.prefix = prefix + ' ' if prefix else ''

    def __enter__(self):
        self.start = time.time()

    def __exit__(self, *args):
        print('%stime: %.4f sec' % (self.prefix, time.time() - self.start))

再定义run函数，令它做20000次矩阵乘法。

def run(x):
    for _ in range(20000):
        y = torch.mm(x, x)

接下来，分别在两块GPU上创建Tensor。

x_gpu1 = torch.rand(size=(100, 100), device='cuda:0')
x_gpu2 = torch.rand(size=(100, 100), device='cuda:1')

然后，分别使用它们运行run函数并打印运行所需时间。

with Benchmark('Run on GPU1.'):
    run(x_gpu1)
    torch.cuda.synchronize()

with Benchmark('Then run on GPU2.'):
    run(x_gpu2)
    torch.cuda.synchronize()

输出：

Run on GPU1. time: 0.2989 sec
Then run on GPU2. time: 0.3518 sec

尝试系统能自动并行这两个任务：

with Benchmark('Run on both GPU1 and GPU2 in parallel.'):
    run(x_gpu1)
    run(x_gpu2)
    torch.cuda.synchronize()

输出：

Run on both GPU1 and GPU2 in parallel. time: 0.5076 sec

可以看到，当两个计算任务一起执行时，执行总时间小于它们分开执行的总和。这表明，PyTorch能有效地实现在不同设备上自动并行计算。

小结

• 现代系统拥有多种设备，如多个GPU和多个CPU，还可以并行地、异步地使用它们。
• 现代系统还拥有各种通信资源，如PCI Express、存储（通常是固态硬盘或网络存储）和网络带宽，为了达到最高效率可以并行使用它们。
• 后端可以通过自动化地并行计算和通信来提高性能。

练习

1. 在本节定义的run函数中执行了八个操作，并且操作之间没有依赖关系。设计一个实验，看看深度学习框架是否会自动地并行地执行它们。
2. 当单个操作符的工作量足够小，即使在单个CPU或GPU上，并行化也会有所帮助。设计一个实验来验证这一点。
3. 设计一个实验，在CPU和GPU这两种设备上使用并行计算和通信。
4. 使用诸如NVIDIA的Nsight之类的调试器来验证代码是否有效。
5. 设计并实验具有更加复杂的数据依赖关系的计算任务，以查看是否可以在提高性能的同时获得正确的结果。

注：本节与原书有很多不同，原书传送门