TensorRT：ShuffLayer && BatchNorm1d

最新推荐文章于 2023-03-29 00:38:12 发布
最新推荐文章于 2023-03-29 00:38:12 发布
阅读量430 收藏
点赞数
分类专栏： 目标检测-实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/108376114
版权

正常的网络结构都是 Conv + BN + Relu， 但自己之前项目中搭建的caffe模型是FC + BN的操作，所以转到pytorch就卡了一下

pytorch中FC后面如果接上BN，该怎么操作呢？

使用nn.BatchNorm1d()，而不是nn.BatchNrom2d()，因为给到BN层的数据维度信息是不一样的

如果是Conv + BN，可以看到BN的输入是NCHW

如果是FC + BN， 可以看到BN 的输入是 NC

所以需要调用的不同的BN接口

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Python深度学习】零基础掌握Shuffle Layers方法
Mr数据杨
12-12 1029
回顾这次探索之旅，我们深入了解了 PyTorch 中 Shuffle Layers 的原理及其广泛的应用领域。通过模拟数据的建模和可视化，我们不仅加深了对这一技术的理解，而且还展示了它在处理实际问题时的巨大潜力。从历史到现代，从医疗到商业，Shuffle Layers 无疑是深度学习领域的一个创新亮点。我们通过编写和分析代码，不仅提高了技术能力，还加深了对深度学习如何在实际中产生影响的理解。
华为leetcode-LeetCode-Huawei_OJ:LeetCode&Huawei_OJ测试用例
07-01
华为leetcode LeetCode-Huawei_OJ 力扣&华为_OJ测试用例
TensorRT采坑api
CatkinLX的博客
07-23 2207
文章目录TensorRT链接采坑 APInvinfer1::INetworkDefinitionaddReduce内存管理总结 TensorRT链接 官方API链接：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/ 采坑 API nvinfer1::INetworkDefinition add各种layer的文档写的真的是，一言难尽 addReduce 头文件和文档注释： //! \param input The input tensor
小白学Pytorch系列--Torch.nn API Shuffle Layers(16)
发呆的比目鱼的博客
03-29 355
小白学Pytorch系列--Torch.nn API Shuffle Layers(16)
jvm的学习方法
qq_35657661的博客
11-08 3279
jvm详解欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdow...
TensorRT实战(一) 如何搭建Batch Normalization层
麦克斯韦恶魔的博客
12-12 3615
TensorRT实战(一) 如何搭建Batch Normalization层 文章目录TensorRT实战(一) 如何搭建Batch Normalization层PyTorch的Batch NormalizationTRT API实现fused Batch Normalization参考资料 本文使用TensorRT Python API进行搭建，C++ API搭建方法异曲同工，使用的BN lay...
Perlin噪声1D&2D代码
08-15
自己写的Perlin噪声1D&2D代码，采用VS2015+C#。
NHEET1D:NHEET Project 1D模型
04-06
NHEET1D NHEET Project 1D模型开发人员：P. Gareau； D.塞兰托拉说明：代码使用舒曼模型（或变型）解决了能量方程的一维守恒问题，以通过填充床获得流体和固体的温度分布。 需要温度输入功能（与当前强制时间呈正弦...
GMA1D:一维通用模式
05-07
一维通用模式示例绘制一维广义模式的Javascript库。 单击，进行数学建模的讨论。 单击，进行线性模态分析的讨论。 单击，进行非线性模态分析的讨论。 单击查看Duffing振荡器的示例。 单击查看Van der Pol振荡器示例...
ebm:1D-气候能源平衡模型
04-12
m = North_1D(A = A, B = B, D = D, s1 = s1, s2 = s2, s22 = s22, Tc = Tc, b0 = b0, a0 = a0, a2 = a2, Q = Q, c = c, n = n, T_0 = T0, CO2_parameter = a_parameter, stdv_noise = stdv_noise) 与您的参数。 ...
ShuffleChannelLayer：通过改组特征图的通道进行新颖的正则化
02-11
随机播放通道层 通过改组特征图的通道进行新颖的正则化。 卷积层的输入张量的通道顺序是固定的。 这可能会使训练变得更加困难，并使模型能够学习更多有用的信息。
低分辨率feature maps的上采样方法：pixelshuffle
qq_38883271的博客
04-29 3038
pixelshuffle是一种对低分辨率特征图上采样的新思路，假设我们打算将H×\times×W×\times×C的特征图在长和宽的维度扩大rrr倍变成rrrH×\times×rrrW×\times×C，pixelshuffle的做法是通过深度为r2r^{2}r2C的卷积对H×\times×W×\times×C的特征图进行卷积操作得到H×\times×W×\times×r2r^{2}r2C的特征图，然后通过“周期洗牌”的方式将H×\times×W×\times×r2r^{2}r2C的特征图编排为rrrH×\
TensorRT softmax层
小铅笔
04-27 1082
今天遇到分类问题 TensorRT softmax层 如果直接在fc后面接softmax 则会进行全局softmax 需要进行reshape 比如2分类 需要转为[1, 1, 2]这种维度 然后在维度2上今天softmax 百度后 先使用IShuffleLayer进行维度变换 IShuffleLayer *shuffleLayer = network->addShuffle(input); assert(shuffleLayer); shuffleLayer->setR...
结构虽简单，但性能强悍——3个小型卷积神经网络简介
weixin_33728708的博客
05-14 277
人工智能、深度学习太火了，火到哪一个领域都有讨论的声音。稍微对深度学习有所了解的人们，尤其是对于计算机视觉领域有所涉猎的人们，当一听到深度学习、卷积神经网络时，脑海里不由得自动脑补这样一幅画面——一台满和负载嗡嗡响的GPU服务器、一台满屏代码不断跳跃的显示屏以及坐在电脑前不断尝试不同卷积神经网络模型的科研人员。这幅场景在各个实验室不断的重复...
Caffe 数据层参数shuffle实现机制
lindajun10的博客
12-03 1993
参考博客：https://blog.csdn.net/guoyilin/article/details/43985089 我们都知道，训练网络的时候一般需要随机打乱训练样本数据，因为我们是采用min-batch SGD 方法进行优化的，随机打乱一定程度上可以防止陷入局部最优，有利于网络收敛。 而caffe读取数据时是一个batch一个batch顺序读取的，那它到底是用怎样的机制实现shuffle的...
caffe深度学习【十六】配置Shufflenet v1，caffe添加shuffle_channel_layer层
volcano_Lin 的博客
09-12 2741
背景： 论文入口： https://arxiv.org/pdf/1707.01083.pdf 配置文件下载入口： https://github.com/farmingyard/ShuffleNet   下载后文件如下： 主要我们用到框框里的3个文件进行配置 因为这些都是作者自己定义的layer，是Caffe框架本身没有的，需要我们添加到Caffe框架下    配置方法： ...
PyTorch学习笔记(10)——上采样和PixelShuffle
热门推荐
g11d111的博客
09-27 10万+
去年曾经使用过FCN（全卷积神经网络）及其派生Unet，再加上在爱奇艺的时候做过一些超分辨率重建的内容，其中用到了毕业于帝国理工的华人博士Shi Wenzhe（在Twitter任职）发表的PixelShuffle《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional...
8.TensorRT中文版开发教程-----如何在TensorRT中使用动态形状(Dynamic Shapes)
专注于人工智能领域的小何尚
05-02 1万+
在TensorRT中使用动态形状(Dynamic Shapes) 点击此处加入NVIDIA开发者计划 动态形状(Dynamic Shapes) 是延迟指定部分或全部张量维度直到运行时的能力。动态形状可以通过 C++ 和 Python 接口使用。 以下部分提供了更详细的信息；但是，这里概述了构建具有动态形状的引擎的步骤： 1.网络定义不得具有隐式批次维度。 C++ 通过调用创建INetworkDefinition IBuilder::createNetworkV2(1U << s
PyTorch学习之上采样层（VISION LAYERS）和PixelShuffle
mingo_敏
01-01 4431
1 PixelShuffle pixelshuffle算法的实现流程如下图，其实现的功能是：将一个H × W的低分辨率输入图像（Low Resolution），通过Sub-pixel操作将其变为rH x rW的高分辨率图像（High Resolution）。 通过卷积先得到r2r^2r2个通道的特征图（特征图大小和输入低分辨率图像一致），然后通过周期筛选（periodic shuffing）的方...
BatchNorm1d
最新发布
05-05
BatchNorm1d是PyTorch中的一种层类型，用于在深度学习模型中进行批标准化操作。BatchNorm1d主要用于对1维输入进行标准化，即在小批量数据上将输入数据进行归一化操作（减去均值，除以标准差）。 BatchNorm1d能够...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值