2023-12-6学习笔记

1.实践教程｜PyTorch训练加速技巧

本篇文章介绍了如何使用PyTorch实现混合精度运算、数据并行和分布式运算来加速训练过程。混合精度训练可以降低训练成本并提高速度，数据并行可以在多个GPU上进行模型训练，分布式运算可以在多台机器上进行模型训练。文章详细介绍了如何使用PyTorch的相关接口来实现这些加速技巧，并提供了使用示例代码。

在PyTorch中实现分布式训练的方法如下：

1. 使用`torch.distributed.launch`启动程序，指定机器上的显卡数量和进程数量。
2. 在主程序中配置`local_rank`参数，告诉每个进程自己的位置和使用哪块GPU。
3. 初始化显卡通信和参数获取方式，使用`torch.cuda.set_device`设置GPU通信方式，并使用`torch.distributed.init_process_group`初始化分布式运算。
4. 重新配置`DataLoader`，使用`DistributedSampler`来确保每个进程获取不同的数据。
5. 对模型进行初始化，使用`torch.nn.parallel.DistributedDataParallel`将模型分布在不同的GPU上，并实现对模型GPU的更新。

以上是使用PyTorch实现分布式训练的基本步骤。具体的代码示例和更多细节可以参考您正在阅读的文章中的相关部分。

在PyTorch中实现数据并行训练的方法如下：

1. 使用`nn.DataParallel`对模型进行包装，以实现模型的并行化。
2. 在主程序中配置`local_rank`参数，用于告诉每个进程自己的位置和使用哪块GPU。
3. 使用`torch.cuda.set_device`设置GPU通信方式，并使用`torch.distributed.init_process_group`初始化分布式运算。
4. 使用`DistributedSampler`重新配置`DataLoader`，以确保每个进程获取不同的数据。
5. 使用`nn.DataParallel`将模型分布在不同的GPU上，并实现对模型GPU的更新。

以上是使用PyTorch实现数据并行训练的基本步骤。具体的代码示例和更多细节可以参考您正在阅读的文章中的相关部分（[2], [3], [4]）。

使用PyTorch实现混合精度运算的方法如下：

1. 导入`torch.cuda.amp`工具包中的`autocast`和`GradScaler`。
2. 在训练循环中，使用`GradScaler`对梯度进行缩放，加速模型收敛。
3. 在训练循环中，使用`autocast()`自动选择GPU操作的精度，提升训练性能。
4. 在模型定义中使用`nn.DataParallel`对模型进行包装，实现数据并行。
5. 在主程序中使用`torch.cuda.set_device`设置GPU通信方式，并使用`nn.DataParallel`将模型分布在不同的GPU上。

以上是使用PyTorch实现混合精度运算和数据并行训练的基本步骤。具体的代码示例和更多细节可以参考您正在阅读的文章中的相关部分（[1], [2]）。

• Raiden说：

后续计划尝试最新的这些优化，尤其是针对推理的速度优化，pytorch原生的这些方法是否比较有效值得验证。

2.深度学习中GPU和显存分析

本文科普了在深度学习中GPU和显存的分析。文章解释了显存和GPU之间的关系，以及深度学习模型在显存中占用的资源。文章还介绍了如何充分利用有限的显存和如何选择合适的显卡。此外，文章还纠正了一些关于显存和GPU的误区，以及关于Batch Size和程序速度的一些误解。

• Raiden说：

比较老的文章了，但对厘清一些基础概念也是比较有帮助的。