TensorRT：ShuffLayer && BatchNorm1d

最新推荐文章于 2023-03-29 00:38:12 发布
最新推荐文章于 2023-03-29 00:38:12 发布
阅读量476 收藏
点赞数
分类专栏： 目标检测-实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/108376114
版权
在将包含FC + BN操作的Caffe模型转换为PyTorch时，需使用nn.BatchNorm1d()。在TensorRT中，由于1d和2d BN的计算相同，仅输入维度不同，可以通过ShuffleLayer调整1d输入为2d，结合2d BN实现功能，最后再reshape回原始维度。经过验证，Linux+PyTorch和Win+RT5的输出一致，方法有效。
摘要由CSDN通过智能技术生成

正常的网络结构都是 Conv + BN + Relu， 但自己之前项目中搭建的caffe模型是FC + BN的操作，所以转到pytorch就卡了一下

pytorch中FC后面如果接上BN，该怎么操作呢？

使用nn.BatchNorm1d()，而不是nn.BatchNrom2d()，因为给到BN层的数据维度信息是不一样的

如果是Conv + BN，可以看到BN的输入是NCHW

如果是FC + BN， 可以看到BN 的输入是 NC

所以需要调用的不同的BN接口

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Python深度学习】零基础掌握Shuffle Layers方法
Mr数据杨
12-12 1084
回顾这次探索之旅，我们深入了解了 PyTorch 中 Shuffle Layers 的原理及其广泛的应用领域。通过模拟数据的建模和可视化，我们不仅加深了对这一技术的理解，而且还展示了它在处理实际问题时的巨大潜力。从历史到现代，从医疗到商业，Shuffle Layers 无疑是深度学习领域的一个创新亮点。我们通过编写和分析代码，不仅提高了技术能力，还加深了对深度学习如何在实际中产生影响的理解。
Tensorflow 2.x(keras)源码详解之第四章：Dataset&TFRecord
weixin_43178406的博客
04-19 1万+
1. data input pipelines（Dataset） 1.1 构造Dataset及简介 1.1.1 tf.data.Dataset.from_tensor_slices 1.1.2 tf.data.Dataset.from_tensor 1.1.3 tf.data.Dataset.from_generator 1.1.4 tf.data.Dataset.range 1.1.5 tf.data.TFRecordDataset 1.1.6 tf.data.TextLineDataset 1.1.7
TensorRT采坑api
CatkinLX的博客
07-23 2385
文章目录TensorRT链接采坑 APInvinfer1::INetworkDefinitionaddReduce内存管理总结 TensorRT链接 官方API链接：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/ 采坑 API nvinfer1::INetworkDefinition add各种layer的文档写的真的是，一言难尽 addReduce 头文件和文档注释： //! \param input The input tensor
TensorRT实战(一) 如何搭建Batch Normalization层
麦克斯韦恶魔的博客
12-12 3810
TensorRT实战(一) 如何搭建Batch Normalization层 文章目录TensorRT实战(一) 如何搭建Batch Normalization层PyTorch的Batch NormalizationTRT API实现fused Batch Normalization参考资料 本文使用TensorRT Python API进行搭建，C++ API搭建方法异曲同工，使用的BN lay...
小白学Pytorch系列--Torch.nn API Shuffle Layers(16)
发呆的比目鱼的博客
03-29 381
小白学Pytorch系列--Torch.nn API Shuffle Layers(16)
ShuffleChannelLayer：通过改组特征图的通道进行新颖的正则化
02-11
随机播放通道层 通过改组特征图的通道进行新颖的正则化。 卷积层的输入张量的通道顺序是固定的。 这可能会使训练变得更加困难，并使模型能够学习更多有用的信息。
TensorRT softmax层
小铅笔
04-27 1163
今天遇到分类问题 TensorRT softmax层 如果直接在fc后面接softmax 则会进行全局softmax 需要进行reshape 比如2分类 需要转为[1, 1, 2]这种维度 然后在维度2上今天softmax 百度后 先使用IShuffleLayer进行维度变换 IShuffleLayer *shuffleLayer = network->addShuffle(input); assert(shuffleLayer); shuffleLayer->setR...
pytorch中批量归一化BatchNorm1d和BatchNorm2d函数
热门推荐
qq_24503095的博客
12-24 2万+
class torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True) [source] 对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作 在每一个小批量（mini-batch）数据中，计算输入各个维度的均值和标准差。gamma与beta是可学习的大小...
batchnorm2d参数 torch_科学网—Pytorch中nn.Conv1d、Conv2D与BatchNorm1d、BatchNorm2d函数 - 张伟的博文...
weixin_32429589的博客
12-24 691
此处mark一下图像处理中常见的Conv和BatchNorm操作，提供参考链接！！(一)Conv1D和Conv2D实现实现代码和相应卷积的数据输入格式要求import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.utils.dataclass myCNN(torch.nn.Module...
z-transform of 1D & 2D Savitzky-Golay Smoothing and Differentiation Filter: z-transform of 1D & 2D Savitzky-Golay Smoothing and Differentiation Filter-matlab开发
06-01
计算和绘制一维和二维 Savitzky-Golay 平滑和微分... 这个 zip 文件夹包含两个函数：ztrans1d.m 和 ztrans2d.m，它们计算任何 GS 滤波器的 z 变换并绘制其幅度谱。 以下是这些函数在 1D 和 2D GS 滤波器中的演示。
jvm的学习方法
qq_35657661的博客
11-08 3686
jvm详解欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdow...
低分辨率feature maps的上采样方法：pixelshuffle
qq_38883271的博客
04-29 3121
pixelshuffle是一种对低分辨率特征图上采样的新思路，假设我们打算将H×\times×W×\times×C的特征图在长和宽的维度扩大rrr倍变成rrrH×\times×rrrW×\times×C，pixelshuffle的做法是通过深度为r2r^{2}r2C的卷积对H×\times×W×\times×C的特征图进行卷积操作得到H×\times×W×\times×r2r^{2}r2C的特征图，然后通过“周期洗牌”的方式将H×\times×W×\times×r2r^{2}r2C的特征图编排为rrrH×\
结构虽简单，但性能强悍——3个小型卷积神经网络简介
weixin_33728708的博客
05-14 297
人工智能、深度学习太火了，火到哪一个领域都有讨论的声音。稍微对深度学习有所了解的人们，尤其是对于计算机视觉领域有所涉猎的人们，当一听到深度学习、卷积神经网络时，脑海里不由得自动脑补这样一幅画面——一台满和负载嗡嗡响的GPU服务器、一台满屏代码不断跳跃的显示屏以及坐在电脑前不断尝试不同卷积神经网络模型的科研人员。这幅场景在各个实验室不断的重复...
PyTorch学习之上采样层（VISION LAYERS）和PixelShuffle
mingo_敏
01-01 4482
1 PixelShuffle pixelshuffle算法的实现流程如下图，其实现的功能是：将一个H × W的低分辨率输入图像（Low Resolution），通过Sub-pixel操作将其变为rH x rW的高分辨率图像（High Resolution）。 通过卷积先得到r2r^2r2个通道的特征图（特征图大小和输入低分辨率图像一致），然后通过周期筛选（periodic shuffing）的方...
TensorRT5输出engine网络层
mengdeyuanterry的博客
12-06 2786
        由于TensorRT5的API相对于TensorRT4有了不少改变，特别是删除了config类，无法打印转换后生成的trt_engine网络层。通过依次读取network每个layer并判断layer类别，输出layer的设置属性，可以达到更好的查看效果。         代码如下： const std::string kShowLayerType[24] = { "...
TensorRT API开发手册
爱破破爱科研
01-01 9201
第一章 综述 1.1 TensorRTLayers 1.2 关键概念 1.3 TensorRT API’s 1.3.1 Python Samples 1.3.2 Python Workflows 第一章 综述 NVIDIA的TensorRT是一个基于GPU高性能前向运算的C++库。TensorRT导入网络定义，通过合并tensors与layers，权值转换，选择高效中间数据类型，基于...
TensorRT5.1.5.0入门 TensorRT头文件学习
Nonentity never give up ? neuer : loser
08-17 5277
目录结构NvInfer.hNvInferPlugin.h简介使用方法具体细节支持的层读取细节其他NvUtils.h简介使用方法具体细节NvCaffeParser.h 最近时间宽裕，准备学习一下tensorRT的头文件。 TensorRT-5.1.5.0 include NvInfer.h NvInferPlugin.h NvCaffeParser.h NvOnnxConfig.h NvOnn...
Caffe SGD shuffle mechanism
guoyilin的专栏
02-28 5352
As we know, the SGD need to shuffle all data in an epoch(the number of data), and read data sequentially batch by batch. How Caffe implement the shuffle mechanism? The input data format of caffe
ShuffleNet心得
weixin_38740463的博客
05-07 1034
channel shuffle： 1）利用group ，再组间进行深度卷积。 优点：1）极大减小计算量（FLOPS） 由于每个filter不再是和输入的全部feature map做卷积，而是仅仅和一个group的feature map做卷积。 缺点：边界效应产生，即某个输出channel仅仅来自输入channel的一小部分 细节：一般卷积操作中比如输入fe...
BatchNorm1d
最新发布
05-05
BatchNorm1d是PyTorch中的一种层类型，用于在深度学习模型中进行批标准化操作。BatchNorm1d主要用于对1维输入进行标准化，即在小批量数据上将输入数据进行归一化操作（减去均值，除以标准差）。 BatchNorm1d能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值