【推理/训练模拟】卷积层与BN层融合

最新推荐文章于 2023-07-31 16:05:19 发布
最新推荐文章于 2023-07-31 16:05:19 发布
阅读量509 收藏 2
点赞数
分类专栏： 深度学习 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cc__cc__/article/details/120187419
版权
本文探讨了如何在深度学习中融合卷积层与BN层，详细推导了推理过程的公式，并提供了代码示例。训练过程中，通过模拟融合操作可以精确评估量化对模型精度的影响。
摘要由CSDN通过智能技术生成

文章目录

一、推理过程将卷积层与BN层融合

1.公式推导
  • 训练过程：
    y = γ x i − μ σ 2 + ϵ + β 其中，xi为上层卷积的输出wx+b， γ 和 β 是 训 练 过 程 中 学 习 得 到 的 参 数 ， μ 和 σ 2 是 在 训 练 过 程 中 统 计 得 到 的 均 值 和 方 差 。 \footnotesize y = \gamma\frac{x_i-\mu}{\sqrt{ {\sigma}^{2}+\epsilon}} + \beta\quad\text{其中，xi为上层卷积的输出wx+b，}\gamma和\beta是训练过程中学习得到的参数，\\\mu和\sigma^{2}是在训练过程中统计得到的均值和方差。 y=γσ2+ϵ ​xi​−μ​+β其中，xi为上层卷积的输出wx+b，γ和β是训练过程中学习得到的参数，μ和σ2是在训练过程中统计得到的均值和方差。
  • 推理过程：

y = γ w x + b − μ σ 2 + ϵ + β = γ w

最低0.47元/天 解锁文章
cc__cc__
关注
专栏目录
AI：245-YOLOv8的全新改进 | 基于Damo-YOLO的RepGFPN在Neck中的特征融合优化【极限涨点】
一键难忘的博客
08-31 2180
YOLOv8在结构上依旧延续了自YOLOv4以来的CSPNet（Cross Stage Partial Network）和FPN（Feature Pyramid Network）的设计，结合了PANet（Path Aggregation Network）来增强特征的多尺度表达。然而，随着目标检测任务的复杂性增加，如何更有效地融合不同层级的特征成为提升检测性能的关键。Damo-YOLO中的RepGFPN引入了重参数化的思想，通过在训练和推理阶段对特征融合模块进行结构优化，显著提升了检测效果。
【深度学习】深度学习中的BN融合：提速小技巧
最新发布
m0_51098495的博客
07-02 343
为了解决这个问题，我们可以在模型训练完成后，将BN层与前一层的参数融合，从而在推理时提高效率。完成后，将BN层的参数与前一层的卷积层或全连接层的参数融合的过程。这样，融合后的层将包含原始层和BN层的效果，而不再需要单独的BN层。通过将BN层的参数与前一层融合，我们可以减少推理时的计算量，同时保持模型性能。：在RNN中，可以在时间步的更新中应用BN融合，以减少每个时间步的计算量。这样，融合后的卷积层可以直接输出归一化后的结果，无需再进行BN操作。：LSTM的门控单元中可以应用BN融合，以提高序列处理的速度。
合并BN层到卷积层,提升模型前向推理的速度
一行一生
08-27 1844
批量归一化-BN层(Batch Normalization) 随机梯度下降法（SGD）对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么使用BN层之后，你可以不需要那么刻意的慢慢调整参数。（详见论文《Batch Normalization...
bn层学习笔记 卷积层和BN层融合
jacke121的专栏
05-20 7122
1. 为什么要合并BN层 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技术，因此，我们有必要将 BN 层的参数合并到卷积.
合并BN层到卷积层的原理及实验
热门推荐
小麦草的博客
08-01 1万+
1. 为什么要合并BN层 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileN...
【caffe】caffe卷积层和BN层融合
花丸大老师的博客
04-11 2955
Conv和BN算子融合 为什么做融合 在神经网络训练的过程中，BN层能够加速网络收敛，并且能够控制过拟合。不过这样也增加了一些运算和参数，在推理过程中，我们可以通过将BN层与卷积层的参数融合，来减少运算，并且为模型稍稍的瘦一下身。 依赖 protobuf numpy 为了省事，使用protobuf来解析caffe模型，因此不需要配置caffe的python接口 融合小工具github 公式 卷...
卷积层与BN层的融合方式
AI数据工厂
01-19 6710
CNN和BN层的融合方式介绍
松散冲积层下提高煤层群开采上限研究
04-21
林南仓井田范围内覆盖有140～440m松散冲积层,通过对东一、西一采区主要地质钻孔进行综合统计,研究分析了第四系松散层厚度的分布特征、松散层中含隔水层分布。通过数值模拟确定了近距离煤层群开采后覆岩的导水裂隙带...
量化感知训练实践：实现精度无损的模型压缩和推理加速
阿里云云栖号
12-24 2745
简介：本文以近期流行的YOLOX[8]目标检测模型为例，介绍量化感知训练的原理流程，讨论如何实现精度无损的实践经验，并展示了量化后的模型能够做到精度不低于原始浮点模型，模型压缩4X、推理加速最高2.3X的优化效果。 1. 概述 对深度学习模型进行低比特量化，可以有效地降低模型部署时在存储、计算、通信上的开销，是一种常见的模型压缩和推理优化技术。然而，模型量化在实际应用中仍然存在不少挑战，最为常见的问题就是模型精度下降（如无特殊说明，本文中“模型精度”是指准确率等模型应用于具体任务的效果指标）。以计算机视
【卷积层揭秘】：图像特征提取的高效策略及CNN优化技巧
!...# 1. 卷积神经网络（CNN）基础 卷积神经网络（CNN）是深度学习中的一种特殊...这与传统的全连接网络相比，大幅减少了模型参数，提高了网络的泛化能力。 ## 1.1 CNN的起源与发展 CNN的起源可以追溯到20世纪80年代，但
卷积神经网络中的Conv层和BN层融合细节
qunsorber的博客
01-29 2577
输入数据的，BN 就是为了解决小批次输入数据的分布偏移而提出的，因此训练时需要BN层。而训练后的推理，是单样本输入，训练时 BN 的参数已经确定，这些参数相当于对前一层的特征图数据做一次线性变换，而卷积层也可以转化为对特征图的线性变换。因为将输入的样本数据或特征图，归一化后，改善了输入数据的分布，或者说。在训练时，卷积层和 BN 是两个模块，但是为什么训练时不能融合，而训练完成后，仅执行前向推理却可以融合？一张图可以解释，改善输入数据的分布，可以更容易找到模型参数w和b，从而加速模型收敛。
BN/卷积层融合
qq_50465411的博客
07-31 398
批归一化（Batch Normalization）可以加速神经网络训练、使网络训练更稳定，而且还有一定的正则化效果，所以得到了非常广泛的应用。但是，在推理阶段，BN层一般是可以完全融合到前面的卷积层的，而且丝毫不影响性能。假设对一个Batch内第。2、BN层和卷积层融合原理。为一个Batch的标准差；3、Python代码。为一个Batch的均值；为极小数，防止除数为0；个样本，神经元输出为。
对训练测试推理BN层的理解（总结）
Ceri的博客
01-10 4347
参考：1、https://blog.csdn.net/qq_36867398/article/details/103308753 2、模型推理加速技巧：融合BN和Conv层 - 知乎一、训练 训练的时候BN层是以每个channel来计算均值和方差，比如是如的是64*32*32*3，3代表channel，当前假如是rgb，64是batchsize。首先在r，g，b上分别求出当前图像所有像素点的均值和方差，然后在batch上求平均，得到该组batch数据的局部数据均值和方差。然后引入bn层中...
BatchNormalization-BN融合-把BN层融合到卷积层里面
qq_29007291的博客
03-06 1438
原文：https://nenadmarkus.com/p/fusing-batchnorm-and-conv/ \qquad背景：组里面一直在用BN融合进行模型的加速，之前大致了解了原理，但是细节完全没印象，所以这次弄懂并记录。 一、优势 \qquad推理的时候，进行BN融合可以把Conv+BN融合成一个Conv，减少运算量，减少模型参数量，减少访存，总之是可以加速，而且没有模型的精度损失（除非有一点点的计算精度差异） 二、原理 \qquad 见文章, 说的很清楚了。基本上就是数据上的等式变换。可以前向时
模型部署——融合BN和Conv层
xiaohu的博客
09-14 1310
今天我们将尝试了解如何使我们的模型在推理上更快一点。使用 Batch Normalization 作为提高泛化能力的一种方式浪费了大量的网络。但是在推理过程中，批量归一化被关闭，而是使用近似的每通道均值和方差。很酷的是，我们可以通过 1x1 卷积实现相同的行为。更好的是，我们可以将它与前面的卷积合并。
深度学习推理时融合BN，轻松获得约5%的提速
jacke121的专栏
12-01 2733
批归一化（Batch Normalization）因其可以加速神经网络训练、使网络训练更稳定，而且还有一定的正则化效果，所以得到了非常广泛的应用。但是，在推理阶段，BN层一般是可以完全融合到前面的卷积层的，而且丝毫不影响性能。 Batch Normalization是谷歌研究员于2015年提出的一种归一化方法，其思想非常简单，一句话概括就是，对一个神经元（或者一个卷积核）的输出减去统计得到的均值，除以标准差，然后乘以一个可学习的系数，再加上一个偏置，这个过程就完成了。 下面我们简单介绍一下BN训练时.
深度学习基础-----BN层
qq_28057379的博客
06-25 296
https://zhuanlan.zhihu.com/p/34879333
层叠推理机：设计、实现与性能优势
层叠推理机的概念则是将多种推理技术结合，形成一个多层结构，每层应用不同的推理策略，以此来增强推理效果。这种设计允许系统在不同层次上处理信息，从而更全面地理解和解析本体中的复杂关系。 在实验部分，作者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值