深度学习调参笔记

最新推荐文章于 2024-07-25 16:58:58 发布

Wils0nEdwards

最新推荐文章于 2024-07-25 16:58:58 发布

阅读量952

点赞数 7

文章标签：深度学习笔记人工智能

本文链接：https://blog.csdn.net/coldasice342/article/details/139867590

版权

就是因为增加了下面这个代码片段，使得训练过程耗时增加了3倍。。。

def set_seed(seed):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    cudnn.benchmark = False
    cudnn.deterministic = True

# Set the seed
set_seed(42)  # 这里的 42 是一个示例，你可以选择任何整数

注释掉这段代码导致训练时间缩短了2/3的主要原因与cudnn.benchmark和cudnn.deterministic这两个选项有关。

`cudnn.benchmark` 和 `cudnn.deterministic` 的作用

cudnn.benchmark:
- 当 cudnn.benchmark 设置为 True 时，CuDNN 会基于每个卷积层的配置（卷积大小、输入尺寸、显存可用性等）选择最快的卷积算法。这会带来初始的额外开销，因为 CuDNN 需要测试不同的算法以选择最快的那个。然而，一旦选定算法，后续的训练会因此而加速。
- 当 cudnn.benchmark 设置为 False 时，CuDNN 使用一个确定的默认算法，这减少了选择算法的时间，但可能不是最优的卷积计算速度。
cudnn.deterministic:
- 当 cudnn.deterministic 设置为 True 时，会强制 CuDNN 使用确定性的算法（即使这些算法不是最快的），以确保每次运行的结果是可重复的。这对于需要结果复现的实验很重要，但可能会导致性能下降，因为一些非确定性的算法可能会更快。

分析

注释掉这段代码意味着：

cudnn.benchmark 的值不再被设置为 False，默认值是 True。这使得 CuDNN 可以自由选择最快的卷积算法，虽然这会在初始阶段带来额外的开销，但在长期的训练过程中整体上会加快计算速度。
cudnn.deterministic 的值不再被设置为 True，默认值是 False。这允许 CuDNN 使用非确定性但更快速的算法，从而提高训练速度。

结论

由于你注释掉了设置种子的代码，导致了cudnn.benchmark和cudnn.deterministic恢复默认值，CuDNN得以使用更快的非确定性算法，进而加快了训练过程。这解释了为什么你的训练时间缩短了2/3。

如果你不需要严格的结果复现，可以保留这种设置以提高训练速度。如果结果复现对于你的实验非常重要，你可能需要在提高速度和保证结果一致性之间做出权衡。

调整超参数是深度学习中提升模型性能和训练效率的重要步骤。以下是一些超参数调整的经验法则和它们之间的相互影响关系：

number_workers设置得更大一些通常可以加速训练。

1. 学习率（Learning Rate）

主要影响：学习率是最重要的超参数之一，它决定了每次参数更新的步长。学习率过高会导致训练过程不稳定，甚至不收敛；学习率过低则会导致训练过程缓慢。
调整策略：
- 可以从一个较大的值开始，然后逐渐减小。
- 学习率调度器（Scheduler）可以帮助动态调整学习率，如学习率逐步衰减（Step Decay）、余弦退火（Cosine Annealing）等。