注:本文为《动手学深度学习》开源内容,部分标注了个人理解,仅为个人学习记录,无抄袭搬运意图
8.3 自动并行计算
上一节提到,默认情况下,GPU 操作是异步的。当调用一个使用 GPU 的函数时,这些操作会在特定的设备上排队,但不一定会在稍后执行。这允许我们并行更多的计算,包括 CPU 或其他 GPU 上的操作。
下面看一个简单的例子。
首先导入本节中实验所需的包或模块。注意,需要至少2块GPU才能运行本节实验。
import torch
import time
assert torch.cuda.device_count() >= 2
我们先实现一个简单的计时类。
class Benchmark(): # 本类已保存在d2lzh_pytorch包中方便以后使用
def __init__(self, prefix=None):
self.prefix = prefix + ' ' if prefix else ''
def __enter__(self):
self.start = time.time()
def __exit__(self, *args):
print('%stime: %.4f sec' % (self.prefix, time.time() - self.start))
再定义run
函数,令它做20000次矩阵乘法。
def run(x):
for _ in range(20000):
y = torch.mm(x, x)
接下来,分别在两块GPU上创建Tensor
。
x_gpu1 = torch.rand(size=(100, 100), device='cuda:0')
x_gpu2 = torch.rand(size=(100, 100), device='cuda:1')
然后,分别使用它们运行run
函数并打印运行所需时间。
with Benchmark('Run on GPU1.'):
run(x_gpu1)
torch.cuda.synchronize()
with Benchmark('Then run on GPU2.'):
run(x_gpu2)
torch.cuda.synchronize()
输出:
Run on GPU1. time: 0.2989 sec
Then run on GPU2. time: 0.3518 sec
尝试系统能自动并行这两个任务:
with Benchmark('Run on both GPU1 and GPU2 in parallel.'):
run(x_gpu1)
run(x_gpu2)
torch.cuda.synchronize()
输出:
Run on both GPU1 and GPU2 in parallel. time: 0.5076 sec
可以看到,当两个计算任务一起执行时,执行总时间小于它们分开执行的总和。这表明,PyTorch能有效地实现在不同设备上自动并行计算。
小结
- 现代系统拥有多种设备,如多个GPU和多个CPU,还可以并行地、异步地使用它们。
- 现代系统还拥有各种通信资源,如PCI Express、存储(通常是固态硬盘或网络存储)和网络带宽,为了达到最高效率可以并行使用它们。
- 后端可以通过自动化地并行计算和通信来提高性能。
练习
- 在本节定义的run函数中执行了八个操作,并且操作之间没有依赖关系。设计一个实验,看看深度学习框架是否会自动地并行地执行它们。
- 当单个操作符的工作量足够小,即使在单个CPU或GPU上,并行化也会有所帮助。设计一个实验来验证这一点。
- 设计一个实验,在CPU和GPU这两种设备上使用并行计算和通信。
- 使用诸如NVIDIA的Nsight之类的调试器来验证代码是否有效。
- 设计并实验具有更加复杂的数据依赖关系的计算任务,以查看是否可以在提高性能的同时获得正确的结果。
注:本节与原书有很多不同,原书传送门