pytorch性能瓶颈检查

最新推荐文章于 2023-08-20 22:24:33 发布
最新推荐文章于 2023-08-20 22:24:33 发布
阅读量1.6k 收藏
点赞数 2
分类专栏： pytorch 文章标签： leetcode windows github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jmh1996/article/details/121455625
版权

看书的时候，看到pytorch居然自带了瓶颈检查的工具：torch.utils.bottleneck
用法：

python -m torch.utils.bottleneck  待测脚本路径

示例效果：

--------------------------------------------------------------------------------
  Environment Summary
--------------------------------------------------------------------------------
PyTorch 1.7.1+cu101 DEBUG compiled w/ CUDA 10.1
Running with Python 3.8 and CUDA 10.1.243

`pip3 list` truncated output:
numpy==1.19.2
torch==1.7.1+cu101
torch-cluster==1.5.9
torch-geometric==1.6.3
torch-scatter==2.0.6
torch-sparse==0.6.9
torch-spline-conv==1.2.1
torchaudio==0.7.2
torchsummary==1.5.1
torchvision==0.8.2+cu101
--------------------------------------------------------------------------------
  cProfile output
--------------------------------------------------------------------------------
         705723930 function calls (591115631 primitive calls) in 252.079 seconds

   Ordered by: internal time
   List reduced from 960 to 15 due to restriction <15>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
114583910/48   99.432    0.000  197.735    4.119 /usr/lib/python3.8/copy.py:128(deepcopy)
  9648/48   40.553    0.004  197.735    4.119 /usr/lib/python3.8/copy.py:200(_deepcopy_list)
229172740   25.338    0.000   25.338    0.000 {method 'get' of 'dict' objects}
       24   16.446    0.685   16.446    0.685 {method 'run_backward' of 'torch._C._EngineBase' objects}
114605951   11.720    0.000   11.720    0.000 {built-in method builtins.id}
114574262   11.361    0.000   11.361    0.000 /usr/lib/python3.8/copy.py:182(_deepcopy_atomic)
117258341    9.575    0.000    9.575    0.000 {method 'append' of 'list' objects}
      576    5.353    0.009    5.353    0.009 {built-in method equal}
  1658851    4.531    0.000    4.531    0.000 {method 'uniform' of 'numpy.random.mtrand.RandomState' objects}
      100    4.132    0.041    4.132    0.041 {built-in method __new__ of type object at 0x908780}
  1005442    3.727    0.000    3.727    0.000 {method 'randint' of 'numpy.random.mtrand.RandomState' objects}
  2080353    2.508    0.000    2.508    0.000 {built-in method builtins.min}
     1918    1.864    0.001    2.046    0.001 /home3/jmh/scnet/TransformerFlow/data_builder.py:292(augment_expoential)
        1    1.658    1.658    2.691    2.691 {built-in method _pickle.load}
     9600    1.564    0.000    1.940    0.000 /home3/jmh/scnet/TransformerFlow/data_builder.py:132(refine_packet_length)


--------------------------------------------------------------------------------
  autograd profiler output (CPU mode)
--------------------------------------------------------------------------------
        top 15 events sorted by cpu_time_total

----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                              Name    Self CPU %      Self CPU   CPU total %     CPU total  CPU time avg     Self CUDA   Self CUDA %    CUDA total  CUDA time avg    # of Calls  
----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                 EmbeddingBackward         6.68%     664.353ms         6.68%     664.353ms     664.353ms       0.000us           NaN       0.000us       0.000us             1  
          aten::embedding_backward         6.68%     664.345ms         6.68%     664.345ms     664.345ms       0.000us           NaN       0.000us       0.000us             1  
    aten::embedding_dense_backward         6.68%     664.340ms         6.68%     664.340ms     664.340ms       0.000us           NaN       0.000us       0.000us             1  
                 EmbeddingBackward         6.67%     663.371ms         6.67%     663.371ms     663.371ms       0.000us           NaN       0.000us       0.000us             1  
          aten::embedding_backward         6.67%     663.367ms         6.67%     663.367ms     663.367ms       0.000us           NaN       0.000us       0.000us             1  
    aten::embedding_dense_backward         6.67%     663.363ms         6.67%     663.363ms     663.363ms       0.000us           NaN       0.000us       0.000us             1  
                 EmbeddingBackward         6.66%     663.205ms         6.66%     663.205ms     663.205ms       0.000us           NaN       0.000us       0.000us             1  
          aten::embedding_backward         6.66%     663.200ms         6.66%     663.200ms     663.200ms       0.000us           NaN       0.000us       0.000us             1  
                 EmbeddingBackward         6.66%     663.198ms         6.66%     663.198ms     663.198ms       0.000us           NaN       0.000us       0.000us             1  
    aten::embedding_dense_backward         6.66%     663.196ms         6.66%     663.196ms     663.196ms       0.000us           NaN       0.000us       0.000us             1  
          aten::embedding_backward         6.66%     663.192ms         6.66%     663.192ms     663.192ms       0.000us           NaN       0.000us       0.000us             1  
    aten::embedding_dense_backward         6.66%     663.189ms         6.66%     663.189ms     663.189ms       0.000us           NaN       0.000us       0.000us             1  
                 EmbeddingBackward         6.66%     663.103ms         6.66%     663.103ms     663.103ms       0.000us           NaN       0.000us       0.000us             1  
          aten::embedding_backward         6.66%     663.098ms         6.66%     663.098ms     663.098ms       0.000us           NaN       0.000us       0.000us             1  
    aten::embedding_dense_backward         6.66%     663.095ms         6.66%     663.095ms     663.095ms       0.000us           NaN       0.000us       0.000us             1  
----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
Self CPU time total: 9.952s
CUDA time total: 0.000us

--------------------------------------------------------------------------------
  autograd profiler output (CUDA mode)
--------------------------------------------------------------------------------
        top 15 events sorted by cpu_time_total

	Because the autograd profiler uses the CUDA event API,
	the CUDA time column reports approximately max(cuda_time, cpu_time).
	Please ignore this output if your code does not use CUDA.

----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                              Name    Self CPU %      Self CPU   CPU total %     CPU total  CPU time avg     Self CUDA   Self CUDA %    CUDA total  CUDA time avg    # of Calls  
----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                 EmbeddingBackward         6.71%     161.735ms         6.71%     161.735ms     161.735ms     511.000us         6.63%     511.000us     511.000us             1  
          aten::embedding_backward         6.71%     161.720ms         6.71%     161.720ms     161.720ms     508.500us         6.60%     508.500us     508.500us             1  
    aten::embedding_dense_backward         6.71%     161.708ms         6.71%     161.708ms     161.708ms     503.500us         6.53%     503.500us     503.500us             1  
                 EmbeddingBackward         6.67%     160.718ms         6.67%     160.718ms     160.718ms     550.000us         7.14%     550.000us     550.000us             1  
                 EmbeddingBackward         6.67%     160.708ms         6.67%     160.708ms     160.708ms     496.000us         6.44%     496.000us     496.000us             1  
                 EmbeddingBackward         6.67%     160.677ms         6.67%     160.677ms     160.677ms     496.000us         6.44%     496.000us     496.000us             1  
                 EmbeddingBackward         6.66%     160.661ms         6.66%     160.661ms     160.661ms     528.000us         6.85%     528.000us     528.000us             1  
                 EmbeddingBackward         6.66%     160.504ms         6.66%     160.504ms     160.504ms     494.000us         6.41%     494.000us     494.000us             1  
                 EmbeddingBackward         6.66%     160.453ms         6.66%     160.453ms     160.453ms     552.000us         7.16%     552.000us     552.000us             1  
                 EmbeddingBackward         6.66%     160.446ms         6.66%     160.446ms     160.446ms     496.000us         6.44%     496.000us     496.000us             1  
                 EmbeddingBackward         6.65%     160.314ms         6.65%     160.314ms     160.314ms     488.000us         6.33%     488.000us     488.000us             1  
                 EmbeddingBackward         6.65%     160.290ms         6.65%     160.290ms     160.290ms     512.000us         6.65%     512.000us     512.000us             1  
                 EmbeddingBackward         6.65%     160.238ms         6.65%     160.238ms     160.238ms     576.000us         7.48%     576.000us     576.000us             1  
                 EmbeddingBackward         6.65%     160.237ms         6.65%     160.237ms     160.237ms     480.000us         6.23%     480.000us     480.000us             1  
                 EmbeddingBackward         6.64%     160.183ms         6.64%     160.183ms     160.183ms     514.000us         6.67%     514.000us     514.000us             1  
----------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
Self CPU time total: 2.411s
CUDA time total: 7.705ms

它会分析cpu的执行耗时，以及GPU的执行耗时。
从这份瓶颈报告中，我可以很轻易的发现，deepcopy是目前我的程序的一个瓶颈。
于是对深层次拷贝做优化。

Icoding_F2014
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
模型性能评价指标的PyTorch实现
01-18
回归预测时，模型性能的评价指标。
pytorch对梯度进行可视化进行梯度检查教程
09-18
今天小编就为大家分享一篇pytorch对梯度进行可视化进行梯度检查教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch_memlab:在pytorch中分析和检查内存
05-04
pytorch_memlab 一个简单，准确的pytorch CUDA内存管理实验室，它由有关内存的不同部分组成： 特征： 内存探查器：具有简单API的line_profiler样式CUDA内存探查器。 内存报告器：一个报告器，用于检查占用CUDA存储器的张量。 礼貌：一个有趣的功能，可以将所有CUDA张量临时移到CPU内存中以礼貌，当然也可以向后传送。 IPython通过%mlrun / %%mlrun行/单元魔术命令提供支持。 目录 安装 发布版本： pip install pytorch_memlab 最新版本： pip install git+https://github.com/stonesjtu/pytorch_memlab 有什么用 对于新手和有经验的程序员，pytorch中的内存不足错误经常发生。 一个普遍的原因是，大多数人并没有真正了解pytorch和
bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现
03-06
瓶颈变压器-火炬 在Pytorch中，在性能-计算权衡方面优于EfficientNet和DeiT的卷积（SotA）视觉识别模型的卷积+注意实现 安装 $ pip install bottleneck-transformer-pytorch 用法 import torch from torch import nn from bottleneck_transformer_pytorch import BottleStack layer = BottleStack ( dim = 256 , # channels in fmap_size = 64 , # feature map size dim_out = 2048 , # channels out proj_factor = 4 , #
dbn pytorch
04-26
主要使用pytorch 实现的DBN网络，用于对数据做回归，单个数据维度为（N，21），其中N为不定长，输出则为（N,1），对应N个值
Windows7下安装NumPy函数库
CatBaby的博客
03-10 670
1.安装Python。 2.在https://pypi.org/project/numpy/#files下载对应的版本 如图我安装的Python版本是2.7 所以我找到对应的Python27的Windows64位的版本 3.下载好之后放入C:\Python27\Scripts目录 4.打开cmd，切换到C:\Python27\Scripts目录 执行命令pip installnumpy...
PyTorch模型性能分析与优化
最新发布
冷冻工厂
08-20 487
正如我们过去所扩展的，GPU 是我们训练机器中最昂贵的资源，我们的目标应该是最大化其利用率。请注意，我们的起始点为 31.65% GPU 利用率和 80 毫秒的步长时间，与教程中分别介绍的 23.54% 和 132 毫秒的起始点不同。更具体地说，我们将重点关注 PyTorch 的内置性能分析器 PyTorch Profiler，以及查看其结果的方法之一，PyTorch Profiler TensorBoard 插件。我们的 GPU 利用率现在达到了可观的 92.37%，并且我们的步数时间进一步减少。
【torch小知识点01】自动求导机制：autograd
羊老羊
10-10 1459
pytorch torch 的自动求导机制：autograd
pytorch训练过程io性能加速技巧（ubuntu 22.04）
u011876981的博客
10-19 747
对于用于做深度学习的个人PC，很容易存在的一个问题，即重GPU，而忽略IO性能，导致输出延时过高，显卡吃不饱。这里总结一些小的技巧，帮助提升IO性能。
pytorch 训练模型很慢，卡在数据读取，卡I/O的有效解决方案
我亦是行人
10-26 3728
pytorch 训练模型很慢，卡数据读取，卡磁盘数据集i/o的解决方案
电脑CPU参数监测程序Python+psutil
wanghao312的博客
07-15 148
通过使用psutil库来实时监测电脑的内存、CPU速度、使用率、开机时间等参数。后期还可以在此基础上进行扩展优化。界面用TK库做的，做的比较差，勉强能看，哈哈哈！
【pytorch】给训练踩踩油门-- Pytorch 加速数据读取
Shwan_ma的博客
12-01 3962
本文转载于 https://zhuanlan.zhihu.com/p/80695364 训练模型的时候有时候会发现显卡的占用一直跑不满，会很浪费，往往是因为IO瓶颈导致的训练速度降低。 本文可以从以下几个方面进行对模型加速： 一, prefetch_generator 使用 prefetch_generator 库在后台加载下一 batch 的数据。 安装： pip install prefet...
win7适合安哪个版本的python？（赠送Python永久使用安装包）
Python单行客的博客
11-30 7889
win7适合安哪个版本的python？（赠送Python永久使用安装包）
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
lu_linux的博客
05-25 3117
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。
Windows7安装Pandas踩过的坑
weixin_44700751的博客
03-26 1080
Windows7安装Pandas踩过的坑 安装Pandas要素：一台网速好的windows7系统的电脑（网速慢也会报错），安装Python3.7.3，最好使用指令安装install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas（如果是离线安装pandas版本和numpy版本不一致也会安装失败）。 报错提示： 1.You are using ...
Windows深度学习环境配置
qq_44892836的博客
01-13 2339
Windows + Anaconda + CUDA + cuDNN + Pytorch + TensorFlow + OpenCV
消除训练瓶颈，8点PyTorch提速技巧汇总
小白学视觉
01-06 513
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨pprp来源丨GiantPandaCV编辑丨极市平台导读本文总结了8点PyTorch提速技巧：分别为硬件层面、如何测试训练过程的瓶颈、图片解码、数据增强加速、data Prefetch、多GPU并行处理、混合精度训练、其他细节。训练大型的数据集的速度受很多因素影响，由于数据集比较大，每个优化带来的时间提升就不可小觑。硬件...
windows下安装python第三方库，以numpy、pandas安装为例。真！小白教程！
weixin_45962853的博客
12-26 5045
一、说明 博主python版本是Python 3.8.0 64位，Python IDE用的是PyCharm 64位。 下面我将以numpy库的安装为例演示，然后截图pandas的安装示例作为参考。 注意！！！安装python的时候我已经设置好环境变量了！！！ 二、numpy安装示例 1、下载numpy 先去Python扩展包的官网下载numpy Python扩展包网址 ctrl+F 搜索nump...
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
深度学习与计算机视觉
04-19 3381
链接：https://www.zhihu.com/question/444712435编辑：深度学习与计算机视觉声明：仅做学术分享，侵删训练集全是16x16，32x32之类的小图，达到上千...
检查pytorch版本
07-08
pytorch和cuda是密切相关的。PyTorch是一个深度学习计算框架，其算法的底层被实现为CUDA扩展，使其能够运行在NVIDIA GPU上。因此，在PyTorch中使用CUDA是非常常见的，可以大幅提高计算速度。在使用PyTorch时，需要根据自己的电脑硬件配置选择合适的CUDA版本，保证PyTorch和CUDA的版本相互兼容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值