TensorRT：Conv + BN 融合

最新推荐文章于 2022-04-11 15:45:56 发布
最新推荐文章于 2022-04-11 15:45:56 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 目标检测-实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/108614571
版权

首先在复习一下BN公式：官方文档 

4个参数：均值，方差，gamma，beta

 

再在复习一下conv公式：

一般是conv以后接的是BN，所以conv输入x,输出y; BN的输入就是y.  把y带入BN的计算公式：

 所以，会得到conv+bn融合以后的权重w和偏置bias

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
xrd精修教程_一文详解XRD精修的应用
weixin_34125336的博客
01-14 8373
1引言对于材料人而言，X射线衍射分析(XRD)可能是最基本但也是最重要的一个表征。然而，最常用的多晶衍射法有着一些本征缺点，它得到的谱峰重叠严重，从而造成大量材料结构信息损失。1967年，荷兰科学家HugoM. Rietveld提出了对中子衍射数据进行Rietveld全谱拟合的方法，克服了多晶衍射的不足。后来，人们也开始采用Rietveld方法对XRD数据进行精修，从而获得多晶材料的各种结构信息...
xrd精修教程_XRD精修系列干货 | 带你领略晶体之美
weixin_42533120的博客
01-09 3657
1. XRD精修教程（一）——XRD精修基本原理与GSAS软件简介（附GSAS软件下载链接）微信搜索小程序“科学10分钟”查看全文X射线衍射分析（XRD）在研究材料的相结构、相成分等多个方面有广泛的应用，但最常用的多晶衍射法有个缺点：得到的谱峰重叠严重，从而造成大量材料结构信息损失。针对这个不足，提出了对衍射数据进行Rietveld全谱拟合的方法。在教程（一）中，详细描述了Rietveld法的基本...
【推理加速】博客翻译：利用融合conv和bn的方法加速模型
博观约取，厚积薄发
04-11 3107
这是量化和推理优化模型中常用技术。 今天我们将试着理解如何使我们的模型在推理上更快一些。 大量的网络使用 BN 来提高网络的泛化能力 。但是在推理阶段，Batch Normalization 被关闭，取代使用的是每个通道的均值和方差的近似值。最酷的是我们可以通过1x1卷积实现同样的行为。更好的是，我们可以把BN和前面的卷积合并。 Speeding up model with fusing batch normalization and convolution - LearnML.Today ..
linq join on or条件_【干货】粉末XRD解单晶详细的测试条件及分析方法
weixin_39962341的博客
11-03 1271
学研汇测试工程师与数据分析工程师，根据平时的测试与数据分析经验，倾力整理的关于粉末XRD解单晶的测试注意事项以及解结构的一些分析说明，希望对大家有所帮助，如有任何疑问或意见，--【背景提示】--20世纪以来发展的单晶X-ray衍射技术，无疑对晶体分子结构的分析非常重要且非常有效。该项研究技术将会持续贯穿于现今的21世纪，特别是在中子光源、同步光源建立后，单晶衍射技术也将赢来新的契机。然而...
加速技巧---Conv BN的融合
u012370185的博客
08-06 5919
网络完成训练后，在inference阶段，为了加速运算，通常将卷积层和BN层进行融合： 卷积层： BN层： 融合两层： 将Conv层的公式带入到BN层的公式 融合后相当于： 【tips：inference阶段，E[x]为滑动均值，Var[x]为滑动方差】 将BN层融合到卷积层中，相当于对卷积核进行一定的修改，没有增加卷积的计算量，同时整个BN层的计算量都省去了。 ...
21年更新-李沐《动手学深度学习第二版》:讲义+数据+代码等
最新发布
04-15
chapter_conv olutional-neural-networks chapter_deep-l earning-basics chapter_deep-learning-com putation chapter_how-to-use chapter_intr oduction chapter_natural-language-proces sing chapter_...
clc_BM.m:conv.m 函数-matlab开发
05-30
计算分支矩阵
xml-conv-json:使用C ++将XML转换为JSON的节点模块
05-14
xml-conv-json 使用C ++将XML转换为JSON的节点模块 它只是 C ++库的包装 优点是使用C ++处理XML并将其作为JSON返回，而不是使用Node进行如此繁琐的操作。 安装 node-gyp将需要全局安装。 您可以使用安装 npm ...
cu101+torch_cluster-1.5.4+scatter-2.0.4+sparse-0.6.1+spline_conv+torch140+cp37
07-04
包含cu101+torch_cluster-1.5.4+torch_scatter-2.0.4+torch_sparse-0.6.1+torch_spline_conv+torch-1.4.0+torchvision-0.5.0-cp37-win_amd64等多个.whl文件，图神经网络编程用
Merge_bn_Caffe:合并Batch Norm Caffe
04-29
name: "conv1-bn" type: "BatchNorm" bottom: "conv1" top: "conv1" param { lr_mult: 0 decay_mult: 0 } param { lr_mult: 0 decay_mult: 0 } param { lr_mult: 0 decay_mult: 0 } batch_norm_...
XRD精修软件CMPR
05-15
可用于X射线衍射谱的精修，或者文件类型转换
XRD 精修指引
01-30
XRD精修指引，
XRD精修软件EXPGUI
07-23
XRD精修软件目前常用的Rietveld结构精修软件有GSAS, Fullprof, Rietan, BGMN, DBWS, WinPLOTR等等，其实他们的核心算法都是一样的。DBWS是最早的精修软件，但由于其是DOS操作界面，目前用户越来越少。而GSAS由于操作方便、界面友好、更新迅速而得到广泛使用。PC-GSAS是基于人机对话的方式，操作起来稍显复杂。在这儿我们主要介绍EXPGUI。EXPGUI是B. H. Toby在GSAS的基础上编写的图形用户界面（Graphical User Interface）程序，可以说EXPGUI囊括了我们所经常用到的大部分GSAS的功能，但不是全部
ConveniosBR：ConvêniosBR是巴西司法部黑客马拉松的第四名，并且是一个开源项目，用于跟踪巴西政府在卫生和教育方面的支出
02-02
ØConvêniosBRé嗯projeto阙签证criar UMAsoluçãocompatívelCOM作为plataformas ê对monitorar OSconvêniosfirmados PELO governo联邦，atravésDELEØcidadão颇得： Listar osconvêniosexistentes na sua ...
conv_time:转换时间序列的C ++源代码
04-13
执行方式./conv_time [YYYYMMDDHHMMSSMMMMMMMMM] JST（日本标准时间）指定“年/月/日/小时/分钟/秒/纳秒”，最多23位数字。 如果未指定JST（日本标准时间），则将系统日期和时间视为JST。 如果从一开始就部分指定了...
conv与bn的融合
attackkk的博客
12-02 5325
背景 conv层和bn层的融合能够给网络提速。 先学习了这个博客的内容。学习时发现代码的实现和理论的介绍不太一样，遂深入研究了一番，修正了部分内容。 本文先介绍基本理论知识，然后解释代码。 理论知识 卷积操作 在介绍conv与bn的融合之前，需要基本了解卷积核的卷积操作。 卷积层的卷积操作 对于卷积层而言，若卷积层输入为FiF_iFi​，输出为FoF_oFo​，输入通道数为iii，输出通道数为jj...
python3文件操作
weixin_38532008的博客
11-21 777
                                  python3文件操作：            open(filename,mode)：会返回一个file对象，filename的形式是-->文件路径+文件名，mode决定打开文件为模式（包括：只读，写入，追加等）                       mode包括（r、rb、r+、rb+；w、wb、w+、wb+；...
xrd精修教程_XRD精修干货以及三元材料的XRD精修实例
weixin_42332497的博客
01-09 1403
推荐阅读科研必备！XRD与Jade学习资料合集，教程/干货/视频应有尽有！超级推荐！01在XRD精修之前，一定要搞懂的8个基本问题1、Jade有哪两种精修模式？各有什么特点和应用？2、Jade的精修模块用什么评价精修的好坏？3、如何读入晶体结构模型？如何精修晶体结构？4、如何做约束？5、对于微量相有什么处理方法？6、对于非晶相有什么处理方法？7、做晶粒尺寸计算前要有什么准备？8、做晶胞参...
tensorrt算子融合
08-11
TensorRT算子融合是指通过对网络层间的横向或纵向合并，将卷积、偏置和激活等层合并成一个更简化的层结构，从而减少整个模型的层数、提高模型的大小、速度和效率。横向合并可以将卷积、偏置和激活层合并为一个CBR结构，只占用一个CUDA核。纵向合并可以将结构相同但权值不同的层合并为一个更宽的层，也只占用一个CUDA核心。这种优化是基于GPU硬件设计的，并且更适合并行计算和密集型计算。TensorRT会尽量直接执行大块矩阵运算，对于通道数较多的卷积层和反卷积层进行较大程度的优化。相比之下，对于复杂的小操作（如reshape、gather、split等），TensorRT的优化力度就不那么明显了。有关TensorRT算子融合的更多细节可以在TensorFlow的GitHub库中找到。 [3123 #### 引用[.reference_title] - *1* [TensorRT：1.基本概念和环境准备](https://blog.csdn.net/mist99/article/details/119869087)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *2* [TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！](https://blog.csdn.net/javastart/article/details/128287548)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *3* [CUDA与TensorRT(5)之TensorRT介绍](https://blog.csdn.net/qq_42692305/article/details/128749146)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值