BN折叠及其量化

cyz0202

已于 2022-07-05 13:06:55 修改

阅读量1.2k

点赞数 3

分类专栏：技术问题 # 量化 # 深度学习文章标签：深度学习人工智能

于 2022-06-16 09:01:13 首次发布

本文链接：https://blog.csdn.net/cyz0202/article/details/125308928

版权

技术问题同时被 3 个专栏收录

56 篇文章

订阅专栏

深度学习

28 篇文章

订阅专栏

量化

8 篇文章

订阅专栏

本文详细介绍了BN（Batch Normalization）折叠的概念，这一过程源于BN在训练和推断阶段的实现差异。在量化过程中，特别是量化感知训练时，保持训练和推断的一致性至关重要。通过BN折叠，可以实现训练阶段的CONV+BN操作的整合，以适应量化需求。文章提供了训练阶段的BN折叠改造方法，并展示了量化后的流程。最后，给出了BN折叠在量化实现的代码示例，鼓励读者深入研究相关文献。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文介绍量化过程中的BN折叠；

以下图片引用自 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

BN折叠

首先介绍BN折叠；BN折叠源自 BN模块在训练阶段和推断阶段的实现差异；

如下图所示：以conv+BN为例，图1为训练阶段的BN，图2为推断阶段的BN

可以证明这样的折叠是合理的，注意图2中的w指的是卷积核；

$\\ O_f = \gamma * \frac{\sum(W * I) + b_{conv} - \mu}{\sigma} + b_{bn} \\ O_f =\sum( \frac{\gamma}{\sigma}*W*I) + \frac{\gamma}{\sigma}*(b_{conv} - \mu) + b_{bn} \\ => W' = \frac{\gamma}{\sigma}*W \\ => b'_{conv} = \frac{\gamma}{\sigma}*(b_{conv} - \mu) + b_{bn} \\ => b'_{conv} = \frac{\gamma}{\sigma}*(- \mu) + b_{bn} = b_{bn}- \frac{\gamma\mu}{\sigma} \space\ \space\ \space\ if \space\ \space\ b_{conv} == 0$