性能优化：每一个卷积层的计算耗时Pytorch

最新推荐文章于 2023-05-27 19:46:36 发布
最新推荐文章于 2023-05-27 19:46:36 发布
阅读量803 收藏 3
点赞数 1
分类专栏： 神经网络硬件平台 文章标签： 人工智能 深度学习 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LionelZhao/article/details/129297041
版权

在进行神经网络部署的时候需要对神经网络耗时最长的计算过程进行优化以达到实时计算的效果，可以使用torch.utils.benchmark工具来实现，具体实例代码如下：

import torch
from utils.utils import get_classes
from torchvision.models import mobilenet_v2
import torch.utils.benchmark as benchmark


# 加载模型
model = mobilenet_v2()

# 将模型设置为评估模式
model.eval()

# 将模型放到 CPU 上
device = torch.device('cpu')
model = model.to(device)

# 用一批样本测试模型
input = torch.randn(1, 3, 300, 300).to(device)

# 获取模型中所有卷积层
conv_layers = [m for m in model.modules() if isinstance(m, torch.nn.Conv2d)]

f = open("./time_FP32.txt","w+")
# 对每个卷积层测量计算时间
for conv in conv_layers:
    print(f"Measuring time for {conv}")
    f.write(f"Measuring time for {conv}\n")
    timer = benchmark.Timer(
        stmt="model(input)",
        globals={
            "model": model,
            "input": input
        },
        num_threads=1,#使用单线程运行计时器
        # num_iters=100,#每个计时器运行模型100次
        # warmup_iters=10#每个计时器在进行正式计时前预热10次
    )

    # 运行计时器
    res = timer.blocked_autorange(min_run_time=1)
    print(f"Mean time: {res.mean * 1000:.3f} ms\n")
    f.write(f"Mean time: {res.mean * 1000:.3f} ms\n")

运行结果片段如下

Measuring time for Conv2d(3, 32, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
Mean time: 41.815 ms
Measuring time for Conv2d(32, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=32, bias=False)
Mean time: 36.139 ms
Measuring time for Conv2d(32, 16, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 35.859 ms
Measuring time for Conv2d(16, 96, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 43.526 ms
Measuring time for Conv2d(96, 96, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), groups=96, bias=False)
Mean time: 40.813 ms
Measuring time for Conv2d(96, 24, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.026 ms
Measuring time for Conv2d(24, 144, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 37.218 ms
Measuring time for Conv2d(144, 144, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=144, bias=False)
Mean time: 37.572 ms
Measuring time for Conv2d(144, 24, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.642 ms
Measuring time for Conv2d(24, 144, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 42.858 ms
Measuring time for Conv2d(144, 144, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), groups=144, bias=False)
Mean time: 43.950 ms
Measuring time for Conv2d(144, 32, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 43.544 ms
Measuring time for Conv2d(32, 192, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.716 ms
Measuring time for Conv2d(192, 192, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=192, bias=False)
Mean time: 37.081 ms
Measuring time for Conv2d(192, 32, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.858 ms
Measuring time for Conv2d(32, 192, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 37.262 ms
Measuring time for Conv2d(192, 192, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=192, bias=False)
Mean time: 37.860 ms
Measuring time for Conv2d(192, 32, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 37.438 ms
Measuring time for Conv2d(32, 192, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 39.329 ms
Measuring time for Conv2d(192, 192, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), groups=192, bias=False)
Mean time: 38.713 ms
Measuring time for Conv2d(192, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.371 ms
Measuring time for Conv2d(64, 384, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 35.330 ms
Measuring time for Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=384, bias=False)
Mean time: 35.857 ms
Measuring time for Conv2d(384, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.325 ms
Measuring time for Conv2d(64, 384, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.602 ms
Measuring time for Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=384, bias=False)
Mean time: 35.514 ms
Measuring time for Conv2d(384, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 35.842 ms
Measuring time for Conv2d(64, 384, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 39.115 ms
Measuring time for Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=384, bias=False)
Mean time: 37.774 ms
Measuring time for Conv2d(384, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 37.322 ms
Measuring time for Conv2d(64, 384, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 35.767 ms
Measuring time for Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=384, bias=False)
Mean time: 38.035 ms
Measuring time for Conv2d(384, 96, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.319 ms
Measuring time for Conv2d(96, 576, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 39.739 ms
Measuring time for Conv2d(576, 576, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=576, bias=False)
Mean time: 37.433 ms
Measuring time for Conv2d(576, 96, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.389 ms
Measuring time for Conv2d(96, 576, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 35.957 ms
Measuring time for Conv2d(576, 576, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=576, bias=False)
Mean time: 41.091 ms
Measuring time for Conv2d(576, 96, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 43.039 ms
Measuring time for Conv2d(96, 576, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.046 ms
Measuring time for Conv2d(576, 576, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), groups=576, bias=False)
Mean time: 37.233 ms
Measuring time for Conv2d(576, 160, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 39.387 ms
Measuring time for Conv2d(160, 960, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.604 ms
Measuring time for Conv2d(960, 960, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=960, bias=False)
Mean time: 39.087 ms
Measuring time for Conv2d(960, 160, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 40.716 ms
Measuring time for Conv2d(160, 960, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.038 ms
Measuring time for Conv2d(960, 960, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=960, bias=False)
Mean time: 36.831 ms
Measuring time for Conv2d(960, 160, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.193 ms
Measuring time for Conv2d(160, 960, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 36.669 ms
Measuring time for Conv2d(960, 960, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=960, bias=False)
Mean time: 36.893 ms
Measuring time for Conv2d(960, 320, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 37.657 ms
Measuring time for Conv2d(320, 1280, kernel_size=(1, 1), stride=(1, 1), bias=False)
Mean time: 38.812 ms
LionelZhao
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch卷积层手动初始化权值的实例
09-18
今天小编就为大家分享一篇Pytorch卷积层手动初始化权值的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch-fid：使用PyTorch计算FID分数
02-04
PyTorch的FID分数 这是FréchetInception 到PyTorch正式实施的端口。 有关使用Tensorflow的原始实现，请参见 。 FID是两个图像数据集之间相似度的度量。 它被证明与人类对视觉质量的判断具有很好的相关性，并且最常用于评估生成对抗网络的样本质量。 通过计算两个高斯函数之间的来计算FID，这些高斯函数适合于Inception网络的特征表示。 有关可以找到进一步的见解和对FID分数的独立评估 。 权重和模型的权重和模型完全相同，并经过测试得出了非常相似的结果（例如，使用ProGAN生成的图像，LSUN上的.08绝对误差和0.0009相对误差）。 但是，由于
pytorch 测量模型运行时间，GPU时间和CPU时间，model.eval()介绍
tony365的博客
05-15 7873
我们知道，在pytorch中，模型有两种模式可以设置，一个是train模式、另一个是eval模式。model.train()的作用是启用 Batch Normalization 和 Dropout。在train模式，Dropout层会按照设定的参数p设置保留激活单元的概率，如keep_prob=0.8，Batch Normalization层会继续计算数据的mean和var并进行更新。model.eval()的作用是不启用 Batch Normalization 和 Dropout。
python通过线程实现定时器timer的方法
09-22
主要介绍了python通过线程实现定时器timer的方法,涉及Python线程与定时器timer的使用技巧,需要的朋友可以参考下
FMNet-pytorch:一个 Pytorch 实现
05-30
FMNet-pytorch pytorch 实现：“深度功能映射：密集形状对应的结构化预测”[ ] 安装 这个实现在python>=3.7上运行，使用pip安装依赖： pip3 install -r requirements.txt 下载数据和预处理 下载所需的数据集并将其放入data文件夹中。 提供多个数据集。 提供了 faust-reshed 数据集的示例. 构建镜头计算器： cd fmnet/utils/shot cmake . make 如果您在编译镜头时遇到任何错误，请参阅。 使用fmnet/preprocess.py通过Dijkstra算法和输入形状的镜头描述符计算拉普拉斯分解，测地距离，数据以.mat格式保存： usage: preprocess.py [-h] [-d DATAROOT] [-sd SAVE_DIR] [-ne NUM_EIGEN] [-n
测量pytorch代码段的运行时间
机器学习杂货铺1号店
08-05 1万+
测量pytorch代码段的运行时间 2020/6/12 FesianXu @ Tencent internship 前言 在pytorch中，我们经常需要测量某个代码段，某个类，某个函数或者某个算子的运行时间，以判断整个模型的速度瓶颈所在，本文介绍一些常用的方法。 ∇\nabla∇联系方式： e-mail: FesianXu@gmail.com QQ: 973926198 github: https://github.com/FesianXu 一般来说，我们可以用两大类方法进行代码段测量： ti.
pytorch的layer profile统计每一层的计算时间，内存占用
qq_38642635的博客
12-21 4065
又这么一个工具torch.autograd.profiler.profile with torch.autograd.profiler.profile(use_cuda=True,profile_memory=True) as prof: model(x) print(prof) prof.export_chrome_trace('profiles') 然后用chrome://tracing/就可以看到可视化的效果 具体这个图片的解释可以参考https://www.jianshu.com/p/1
cpu消耗 pytorch_PyTorch测试模型执行计算耗费的时间
weixin_34579708的博客
01-14 2830
一般我们都会使用这种方式一测试时间：# 方式一：start = time.time()result = model(input)end = time.time()但是正确的应该是下边这种方式二：# 方式二：torch.cuda.synchronize()start = time.time()result = model(input)torch.cuda.synchronize()end = tim...
pytorch分析时间开销方法
qq_35985044的博客
07-29 473
https://zhuanlan.zhihu.com/p/41662629 https://zhuanlan.zhihu.com/p/381881119 https://zhuanlan.zhihu.com/p/382121335 https://zhuanlan.zhihu.com/p/354592955 https://zhuanlan.zhihu.com/p/360479566
优化PyTorch性能的一些trick
weixin_44343319的博客
10-13 634
优化PyTorch性能的一些trick，不定期更新，如有错误还请指出
pytorch 实现在一个优化器中设置多个网络参数的例子
09-17
今天小编就为大家分享一篇pytorch 实现在一个优化器中设置多个网络参数的例子，具有很好参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch神经网络之卷积层与全连接层参数的设置方法
09-18
今天小编就为大家分享一篇pytorch神经网络之卷积层与全连接层参数的设置方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch之卷积层的使用详解
09-18
今天小编就为大家分享一篇Pytorch之卷积层的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 实现冻结指定卷积层的参数
09-18
今天小编就为大家分享一篇Pytorch 实现冻结指定卷积层的参数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
DO-Conv:深度超参数化卷积层
03-20
在推理阶段，DO-Conv可以融合到常规卷积层中，从而导致计算量与常规卷积层的计算量完全相同。 有关更多详细信息，请参见的，其中我们展示了DO-Conv在各种基准数据集/任务上的优势。 我们高度欢迎的问题 我们非常欢迎...
PyTorch自定义C ++和CUDA扩展
FantasyJXF的博客
12-18 1180
从阅读maskrcnn_benchmark代码到自定义C++ Pytorch扩展
深度学习常见名词概念：Sota、Benchmark、Baseline、端到端模型、迁移学习等的定义
热门推荐
Hanze的博客
11-15 6万+
深度学习：Sota的定义 sota实际上就是State of the arts 的缩写，指的是在某一个领域做的Performance最好的model，一般就是指在一些benchmark的数据集上跑分非常高的那些模型。
Transformer太难 大核卷积太慢 到底怎么办？
m0_63642362的博客
05-27 622
Transformer 大核卷积虽好，速度不要太慢，怎么办，怎么办，到底怎么办
pytorch计算模型的参数量和计算速度
helloworld_Fly的博客
05-24 627
文章目录模型参数总量模型计算量梯度值模型层数模型计算图 pytorch实用工具总结 模型层数：print_layers_num 模型参数总量：print_model_parm_nums 模型的计算图：def print_autograd_graph():或者参见tensorboad 模型滤波器可视化：show_save_tensor 模型在具体的输入下的尺寸信息summary以及参数量：show_summary 模型计算量：print_model_parm_flops import torch import
pytorch 卷积层
最新发布
08-03
PyTorch中的卷积层是神经网络中常用的一种层类型，用于处理图像和其他多维数据。卷积层通过对输入数据进行卷积操作来提取特征，并生成输出特征图。卷积操作是指将一个滤波器（也称为卷积核）与输入数据进行逐元素相乘，并将结果相加得到输出特征图的过程。[1] 在PyTorch中，卷积层的相关参数包括输入通道数、输出通道数、卷积核大小、步长和边缘填充等。输入通道数指的是输入数据的通道数，例如RGB图像的通道数为3。输出通道数指的是卷积层输出的特征图的通道数，通常可以理解为卷积核的个数。卷积核大小指的是卷积核的尺寸，例如3x3的卷积核。步长指的是卷积操作在输入数据上滑动的步长，用于控制输出特征图的尺寸。边缘填充是指在输入数据的边缘周围填充额外的像素，以保持输出特征图的尺寸与输入数据相同。[2] 在使用PyTorch的卷积层时，可以通过定义一个继承自`nn.Module`的神经网络类，并在其中定义卷积层的相关参数来创建卷积层。例如，可以使用`nn.Conv2d`类来定义一个二维卷积层，并指定输入通道数、输出通道数、卷积核大小、步长和边缘填充等参数。然后，在神经网络的前向传播方法中，可以通过调用卷积层的`forward`方法来进行卷积操作，并返回输出特征图。[3] 总结起来，PyTorch中的卷积层是用于处理图像和其他多维数据的一种神经网络层类型。它通过卷积操作来提取特征，并生成输出特征图。在使用PyTorch的卷积层时，需要定义相关参数，并在神经网络的前向传播方法中调用卷积层进行卷积操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值