Conv层和BN层合并

在深度学习中，Conv + BN + Relu已成为标配，
那么在网络推理阶段，我们其实可以将Conv层和BN层进行合并，因为他们都是线性运算。
合并后就相当于少了BN层的计算，这样可以加快网络推理。

在数学计算上讲，合并的本质其实就是改变了卷积层的权重和偏置。

卷积层计算

BN层计算

其中
将BN层合并于Conv层后，Conv的计算方式如下：

即：

那么，我们令：

则：

可以看到，BN层合并于卷积层后，本质是卷积层的权重偏值发生了改变，但是却少了一个BN层的计算，这对于加速推理是十分有益的。