Torch中的benchmark&deterministic是什么含义?

最新推荐文章于 2023-06-27 18:30:47 发布
最新推荐文章于 2023-06-27 18:30:47 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： Torch学习笔记 文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45722635/article/details/121877347
版权

benchmark 基准
deterministic 确定的

torch.backends.cudnn.benchmark=true

设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。

  1. 如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率；
  2. 如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一遍最优配置，这样反而会降低运行效率。

当随机数种子seed确定时，每次返回的卷积算法将是确定的，模型的训练结果将始终保持一致。

cudnn.deterministic = True

参考资料
Torch官方文档:TORCH.BACKENDS
在这里插入图片描述

普朗克的小铁拳
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch图机器学习Benchmark集-python
06-18
PyTorch图机器学习Benchmark集 概述 开放图基准 (OGB) 是用于图机器学习的基准数据集、数据加载器和评估器的集合。 数据集涵盖了各种图形机器学习任务和实际应用。 OGB 数据加载器与流行的图形深度学习框架完全兼容，包括 PyTorch Geometric 和 Deep Graph Library (DGL)。 它们提供自动数据集下载、标准化的数据集拆分和统一的性能评估。 OGB 旨在提供涵盖重要图机器学习任务、多样化数据集规模和丰富领域的图数据集。 图 ML 任务：我们涵盖了三个基本的图机器学习任务：节点、链接和图级别的预测。 规模多样化：小型图数据集可以在单个 GPU 内处理，而中大型图可能需要多个 GPU 或巧妙的采样/分区技术。 丰富的领域：图数据集来自不同的领域，从科学领域到社会/信息网络，还包括异构知识图。 OGB 是一项持续的努力，我们计划在未来扩大我们的覆盖范围。 安装 您可以使用 Python 的包管理器 pip 安装 OGB。 如果您之前安装过 ogb，请确保将版本更新到 1.2.0。 发行说明可在此处获得。 要求 Pytho
【笔记】torch.backends.cudnn.benchmark 的用处：针对固定的网络模型，输入参数固定的情况，将该变量设置为True可以在网络训练前进行网络模型中计算的优化，提升计算的效率
nyist_yangguang的博客
08-12 211
torch.backends.cudnn.benchmark
torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False manual_seed控制程序的随机性
weixin_61445075的博客
04-10 3135
cuda 是NVIDIA 针对自家的CPU设计的并行计算的框架， cuDNN是is a GPU-accelerated library of primitives for deep neural networks。是专门针对深度神经网络打造的加速库。 cuDNN Archive | NVIDIA Developerhttps://developer.nvidia.com/rdp/cudnn-archivetorch.backends.cudnn.benchmark = False Reproducib
【pytorch】torch.backends.cudnn.deterministic
热门推荐
小苏打的学习博客
05-21 1万+
为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic. torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确定的，即默认算法。如果配合
torch.backends.cudnn.benchmark
swpucwf的博客
04-15 805
import torch.backends.cudnn as cudnn cudnn.benchmark = True 可以在 PyTorch 中对模型里的卷积层进行预先的优化，也就是在每一个卷积层中测试 cuDNN 提供的所有卷积实现算法，然后选择最快的那个。这样在模型启动的时候，只要额外多花一点点预处理时间，就可以较大幅度地减少训练时间。 适用于网络稳定固定输入尺寸大小时候使用，batchsize固定。 // 具体位置的网址：https://github.com/pytorch/pytorch/b..
Torch是什么？ - Thinking In Jdon1
08-03
1. 一个强大的n维数组 2. 很多实现索引，切片，移调transposing的例程 3.惊人的通过LuaJIT的C接口 4.线性代数例程 5.神经网络，并基于
为什么 Torch 是动态的
12-22
文章目录为什么 Torch 是动态的 为什么 Torch 是动态的 计算图要变动. 最典型的例子就是 RNN, 有时候 RNN 的 time step 不会一样, 或者在 training 和 testing 的时候, batch_size 和 time_step 也不一样, 如果用一...
浅谈Pytorch中的torch.gather函数的含义
09-18
在PyTorch中，`torch.gather`是一个非常实用的函数，它允许用户根据提供的索引从源张量中收集值，并将这些值沿指定维度组织到一个新的张量中。这个函数在处理某些特定的数据操作时，如多分类问题中的预测结果提取，...
在C++中加载TorchScript模型的方法
08-25
"在C++中加载TorchScript模型的方法" 知识点1： PyTorch 在生产环境中的限制 PyTorch 作为一个主要的机器学习框架，其主要接口是 Python 编程语言。尽管 Python 是合适于许多需要动态性和易于迭代的场景，但是它在...
为什么要设置torch.backends.cudnn.deterministic=True
QWxixi的博客
03-13 1万+
下面这段为知乎上的解释 为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic. torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确
torch.backends.cudnn.benchmark 和 torch.backends.cudnn.deterministic
yuan14680的博客
06-11 650
torch.backends.cudnn.benchmark torch.backends.cudnn.deterministic
torch.backends.cudnn.benchmark和torch.backends.cudnn.deterministic解读
威少的博客
03-05 4013
torch.backends.cudnn.benchmark 简介：总的来说，大部分情况下，设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。 一般来讲，应该遵循以下准则： 如果网络的输入数据维度（包括 batch size，图片大小，输入的通道）或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率； 如果网络的输入数据在每次 iteration 都变化的话，
torch.backends.cudnn.benchmark的用法
木盏
12-01 9240
首先，要明白backends是什么，Pytorch的backends是其调用的底层库。torch的backends都有： cuda cudnn mkl mkldnn openmp 代码torch.backends.cudnn.benchmark主要针对Pytorch的cudnn底层库进行设置，输入为布尔值True或者False： 设置为True，会使得cuDNN来衡量自己库里面的多个卷积算法的速度，然后选择其中最快的那个卷积算法。 我们看官方文档描述： 所以，当这个参数设置为True时，启动算法的前
torch.backends.cudnn.benchmark 的作用
weixin_43333886的博客
06-27 452
例如对图像进行采样，通常的做法是使用多层循环嵌套，对每一个通道的每一个区域，用同样的卷积核进行卷积操作，然后继续滑动，直到direct 到整张图像。通常情况下，在使用大的卷积核是会具有更快的速度，而且每层算法的卷积核大小是不同(这种优化更符合实际的情况）。我们只要固定输入大小都是 (8, 64, 224, 224)，即 batch_size 为 8，输入的通道为 64，宽和高为 224，那么卷积层的运行时间都是几乎不变的，无论其中每个像素具体的值是 0.1 还是 1000.0。
Deterministic Pytorch： pytorch如何保证可重复性
libeicuo8108的博客
05-18 1122
1 代码 要想整个模型是确定性的，我们需要设定好随机种子，这样当程序运行到具有random的模块时，由于伪随机的种子是相同的，那么随机得到的结果也是相同的。需要设定的随机种子如下。 def set_seed(self, seed=0): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) #为CPU设置种子用于生成随机数，以使得结果是确定的 torch.cuda.manual_seed(seed)
Torch 实验复现需要设置的随机种子
lh_lyh的博客
11-15 3598
参考官方文档 REPRODUCIBILITY
torch.backends.cudnn.deterministic 使用cuda保证每次结果一样
kyle1314608的博客
07-23 5965
为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic. torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确定的，即默认算法。如果配合
torch_geometric 入门，加载benchmark数据集
weixin_61445075的博客
03-11 713
来自官网的例子： from torch.nn import Linear, ReLU # from torch_geometric.nn import Sequential, GCNConv import torch from torch_geometric.datasets import Planetoid, TUDataset from torch_scatter import scatter_mean from torch_geometric.loader import DataLoader
torch.backends.cudnn.benchmark 和torch.backends.cudnn.deterministic
weixin_45079057的博客
05-19 3742
torch.backends.cudnn.benchmark标志位True or False cuDNN是GPU加速库 在使用GPU的时候，PyTorch会默认使用cuDNN加速，但是，在使用 cuDNN 的时候，torch.backends.cudnn.benchmark模式是为False。 设置这个 flag 为True，我们就可以在 PyTorch 中对模型里的卷积层进行预先的优化，也就是在每一个卷积层中测试 cuDNN 提供的所有卷积实现算法，然后选择最快的那个。这样在模型启动的时候，只要额外多花一
torch.backends.cudnn.benchmark = True torch.backends.cudnn.deterministic = True
最新发布
07-11
`torch.backends.cudnn.benchmark = True` 和 `torch.backends.cudnn.deterministic = True` 是用于设置PyTorch在使用CUDA加速时的一些优化选项。 - `torch.backends.cudnn.benchmark = True` ：当设置为True时，PyTorch会在每次运行时自动寻找最适合当前硬件的卷积实现算法，并进行优化。这样可以加速模型的训练和推断过程。然而，由于寻找最佳算法需要额外的计算开销，因此在输入大小不变的情况下，首次运行可能会比后续运行慢一些。如果输入大小经常变化，建议将此选项设为True，以获得最佳性能。 - `torch.backends.cudnn.deterministic = True` ：当设置为True时，PyTorch的卷积操作将以确定性模式运行，即给定相同的输入和参数，输出将始终相同。这对于确保结果的可重复性很重要，尤其是在进行模型训练和验证时。然而，由于确定性模式可能会带来一些性能损失，因此在不需要结果可重复性的情况下，可以将此选项设置为False。 这两个选项可以根据具体场景和需求进行设置。`torch.backends.cudnn.benchmark` 用于自动选择最佳卷积实现算法以提高性能，而 `torch.backends.cudnn.deterministic` 用于确保结果的可重复性。根据你的需求，你可以根据情况启用或禁用它们。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

普朗克的小铁拳

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值