用torch.cuda.Event() 精确记录GPU的运行时间

已于 2024-09-20 11:25:53 修改
阅读量7.4k 收藏 10
点赞数 7
分类专栏： 训练框架 文章标签： python
于 2021-10-19 11:06:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leo0308/article/details/120842299
版权

用torch.cuda.Event() 精确记录GPU的运行时间：

start = torch.cuda.Event(enable_timing=True)
end = torch.cuda.Event(enable_timing=True)
start.record()
model.train(xxx)
end.record()
torch.cuda.synchronize()
elapsed_time = start.elapsed_time(end)

参考： torch.cuda.synchronize()

性能优化利器：PyTorch中torch.cuda.Event的高效计时应用
2401_85763803的博客
08-27 1344
是PyTorch中的一个类，用于在CUDA设备上创建和查询事件。通过这个类，我们可以记录GPU执行特定操作的开始和结束时间，从而计算出操作的持续时间。
torch.cuda
weixin_36670529的博客
08-30 8640
目录 torch.cuda.current_blas_handle() torch.cuda.current_device() torch.cuda.current_stream(device=None) torch.cuda.default_stream(device=None) class torch.cuda.device(device) torch.cuda.device_co...
cuda和torch-cuda常见错误[持续更新]
PoisonKiller的博客
07-21 243
torch与cuda之间的版本问题及解决
CUDA编程之Event
最新发布
深之JohnChen的专栏
03-11 410
CUDA Event 是 GPU 程序中的一种同步和计时工具，用于在特定位置插入标记点，并记录这些点的 GPU 时间戳。通过事件机制，开发者可以精确测量核函数执行时间或实现不同任务间的同步‌。用于非阻塞地查询 CUDA 事件的状态，判断 GPU 是否已完成指定事件之前的所有任务。2）堵塞方式——可以用于执行核函数后等待核函数执行完毕后的处理。在主机执行其他操作时，定期轮询事件状态，避免阻塞。1）非堵塞方式——可以用于一些不需要等待的处理。
使用torch.cuda.Event() 精确记录GPU上模型的推理时间
weixin_48109360的博客
04-20 3675
import torch time_pool = 0 for input_tensor,label in dataloader: start = torch.cuda.Event(enable_timing=True) end = torch.cuda.Event(enable_timing=True) start.record(stream=torch.cuda.current_stream()) output_tensor = model(inp.
PyTorch 测量代码段的运行时间
连理o的博客
08-01 1631
PyTorch 测量代码段的运行时间
pytorch计算GPU运行时间：
Beifang_Bai的博客
02-18 2112
tim = 0 start = torch.cuda.Event(enable_timing=True) #the times end = torch.cuda.Event(enable_timing=True) start.record() out = net(image_input) end.record() torch.cuda.synchronize() tim = start.elapsed_time(end)
Pytorch相关操作（2）
专业主义
04-13 1942
（21）torch.cuda.Event() 记录GPU的运行时间 start = torch.cuda.Event(enable_timing=True) end = torch.cuda.Event(enable_timing=True) start.record() model.train(xxx) torch.cuda.synchronize() end.record() elapsed_time = start.elapsed_time(end) 正确测试代码在cuda运行时间，需要加上tor
【代码笔记】测量模型推理时间
-徐徐图之-的博客
05-23 1047
参考：深度神经网络推理时间的正确测量方法 starter, ender = torch.cuda.Event(enable_timing=True), torch.cuda.Event(enable_timing=True) t = [] for i in enumerate(dataset): timings = [] with torch.no_grad(): starter.record() out = model(inputs) e
PyTorch官方中文文档：torch.cuda
HowardWood的博客
03-10 1万+
torch.cuda该包增加了对CUDA张量类型的支持，实现了与CPU张量相同的功能，但使用GPU进行计算。它是懒惰的初始化，所以你可以随时导入它，并使用is_available()来确定系统是否支持CUDA。CUDA语义中有关于使用CUDA的更多细节。torch.cuda.current_blas_handle() 返回cublasHandle_t指针，指向当前cuBLAS句柄torch.cud...
cuda运行程序记录时间
deng497的博客
07-28 1563
这里得到的elapsedTime就是执行GPU端代码所需时间，单位ms。 总流程为： cudaEvent_t start, stop; cudaEventCreate(&start); cudaEventCreate(&stop); cudaEventRecord(start, 0); // 在GPU上执行一些工作 cudaEventRecord(stop, 0); cudaE
【Pytorch与CUDA加速实战】性能监控与调试：使用torch.cuda.synchronize()和nvidia-smi监控性能
![【Pytorch与CUDA加速实战】性能监控与调试：使用torch.cuda.synchronize()和nvidia-smi监控性能]...# 1. Pytorch与CUDA加速基础 Pytorch作为当下深度学习领域炙手可热的框架，其与CUDA的结合为模型的训练和推理提供...
【踩坑】修复多GPU通信时all_reduce/broadcast时间不一致的问题
xfxuezhang.cn
06-21 489
一个小坑
利用GPU预热以及同步执行正确计算卷积神经网络推理性能【附代码】
z240626191s的博客
08-11 2749
利用GPU预热来更准确的获得卷积神经网络的推理时间【附代码】。 什么叫GPU的预热呢，打个比方，我们打开电脑或者其他电子产品的时候，如果你立马用设备，会感觉有些卡顿，但如果你稍微等一下，让后台程序都跑起来再用，就明显快很多了，这就是设备的预热。同理的，GPU在你不用的时候是低功耗状态，它会把有些高性能的功能暂时关闭或降低性能，这时候如果你把模型放上面处理，你就能明显感觉到有点满，甚至你从点击程序运行以后要等个几秒钟才出结果，因为这个阶段GPU要完成很多初始化工作【当然了，这也和显卡好坏有关系】。......
deeplearning code 推理测速
starlight1231的博客
01-31 145
deeplearn 程序测试推理时间
GPU执行时长-华为OD
MemoryFactory
02-13 233
为了充分发挥Gpu算力，需要尽可能多的将任务交给GPU执行，现在有一个任务数组，数组元素表示在这1s内新增的任务个数，且每秒都有新增任务，假设GPU最多一次执行n个任务，一次执行耗时1s，在保证Gpu不空闲的情况下，最少需要多长时间执行完成。第一个参数为gpu最多执行的任务个数（取值范围1~10000）第二个参数为任务数组的长度（取值范围1~10000）第三个参数为任务数组（数字范围1~10000）执行完所有任务需要多少秒。
CUDA异步执行与同步调试
dedell的博客
11-27 2096
异步执行 默认情况下，GPU 操作是异步的。当您调用使用 GPU 的函数时，操作会被排入特定设备的队列，但不一定要等到稍后才会执行。这允许我们并行执行更多计算，包括在 CPU 或其他 GPU 上的操作。 一般来说，异步计算的影响对调用者是不可见的，因为（1）每个设备按照它们排队的顺序执行操作，以及（2）PyTorch 在 CPU 和 GPU 之间或两个 GPU 之间复制数据时会自动执行必要的同步。因此，计算将继续进行，就好像每个操作都是同步执行的一样。 您可以通过设置环境变量 CUDA_LAUNCH_
Pytorch:CUDA Semantics(语义)
知其然而后知其所以然
02-02 2314
CUDA Semantics 文章大部分内容来自PyTorch-CUDA Semantics,如若侵权请联系本人进行删除,本文仅用作个人学习之用，不做他用，转载请注明出处。 基本介绍 pytorch提供torch.cuda来创建和运行CUDA操作。torch.cuda会一直跟踪当前选中的GPU，所有分配的CUDA tensors都会默认在该GPU上创建分配内存空间。但是，仍然可以通过torch.c...
pytorch 正确的测试时间的代码 torch.cuda.synchronize()
热门推荐
u013548568的博客
08-02 4万+
1、 start = time.time() result = model(input) end = time.time() 2、 torch.cuda.synchronize() start = time.time() result = model(input) torch.cuda.synchronize() end = time.time() 一共上述两种测试时间的方式，正确的方式是...
在PyTorch中，使用torch.tensor和torch.Tensor创建多维数组时，如何在GPU上进行性能提升，并对比二者的性能差异？
11-11
PyTorch是一个深度学习框架，它利用GPU来加速数学运算，尤其在处理大量数据和复杂模型时更为显著。`torch.tensor`和`torch.Tensor`都可以用来创建多维数组，而它们在GPU上的性能表现取决于多种因素，如数据类型、操作类型以及是否启用CUDA。 参考资源链接：[PyTorch中torch.tensor与torch.Tensor详解：差异与实战应用](https://wenku.csdn.net/doc/6401ad04cce7214c316edf9d?spm=1055.2569.3001.10343) 在创建多维数组时，如果你需要一个动态类型的张量，可以使用`torch.tensor`，它能够根据提供的数据自动推断出类型。例如： ```python import torch # 创建一个动态类型的二维张量 tensor_dynamic = torch.tensor([[1, 2], [3, 4]]) ``` 而`torch.Tensor`则用于创建一个固定类型的张量对象，它需要在创建时明确指定数据类型。例如： ```python # 创建一个32位浮点类型的二维张量 tensor_static = torch.FloatTensor([[1, 2], [3, 4]]) ``` 将这些张量迁移到GPU上，可以通过调用`.to('cuda')`方法实现，这样张量的存储位置会从CPU转移到GPU，从而利用GPU加速进行计算。例如： ```python # 将张量迁移到GPU tensor_dynamic_gpu = tensor_dynamic.to('cuda') tensor_static_gpu = tensor_static.to('cuda') ``` 进行数学运算时，例如矩阵乘法： ```python result_dynamic = tensor_dynamic_gpu @ tensor_dynamic_gpu.T result_static = tensor_static_gpu @ tensor_static_gpu.T ``` 在进行性能比较时，通常`torch.Tensor`会因为其内置的优化而略微优于`torch.tensor`，但差异不大。要注意的是，直接使用`torch.tensor`并指定`.to('cuda')`在某些情况下可以得到更好的性能，因为它避免了额外的数据类型转换开销。 最后，为了全面地评估性能，可以使用`torch.cuda.Event`来测量GPU上的时间消耗。此外，如果要对比`numpy`数组和PyTorch张量的性能，可以使用`torch.from_numpy()`来进行转换，并测量转换和计算的时间。 综上所述，创建多维数组时，`torch.tensor`和`torch.Tensor`各有优势，而在GPU上的性能提升则依赖于具体的操作和数据类型。建议在实际应用中结合具体需求和性能测试结果，选择最适合的方法。可以通过《PyTorch中torch.tensor与torch.Tensor详解：差异与实战应用》这本书来深入了解这两个组件的差异及它们在实际应用中的表现和最佳实践。 参考资源链接：[PyTorch中torch.tensor与torch.Tensor详解：差异与实战应用](https://wenku.csdn.net/doc/6401ad04cce7214c316edf9d?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值