【算子融合】Conv+BatchNorm+Relu

Conv+BatchNorm+Relu

本文以公式推导的形式，介绍了为啥Conv+BatchNorm+Relu会和单纯的Conv消耗的时间是一样的。

实际上，Conv+BatchNorm+Relu也可以推导成Conv的形式。

1. BatchNorm

计算均值：

${\mu }_B=\frac{1}{B}{\sum }_{i=1}^B{x}_i$

计算方差：

${\sigma }_B^2=\frac{1}{B}{\sum }_{i=1}^B(x_i-{\mu }_B{)}^2+ϵ$

批标准化（Batch Normalization，通常缩写为BN）中的一个步骤，用于标准化神经网络中的输入数据：

$\widehat{x_i}=\frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$

• $\widehat{x_i}$ 是标准化后的第 i 个输入样本的值。
• $x_i$ 是原始输入样本的值。
• ${\mu }_B$是批次（Batch）中所有样本的均值，用于计算标准差和方差。
• ${\sigma }_B^2$ 是批次中所有样本的方差，用于计算标准差和方差。
• $ϵ$ 是一个小的常数，通常添加到分母中，以避免分母为零，确保数值稳定性。

BN层计算公式：
$y=\gamma \widehat{x_i}+\beta$

将$\widehat{x_i}$带入得：

$y=\gamma \frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}+\beta$

2. Conv

卷积公式：

$x_i=w{x}_i+b$

代入下面公式：

$y=\gamma \frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}+\beta$

得：

$$\begin{gathered} y=\gamma \frac{w{x}_i+b-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}+\beta \\ =\gamma \frac{w}{\sqrt{{\sigma }_B^2+ϵ}}{x}_i+\gamma \frac{b-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}+\beta \end{gathered}$$

3. ReLU

$y=max(0,x)$ 仅仅是这个简单的计算公式，可随意进行添加。

$max(0,\gamma \frac{w}{\sqrt{{\sigma }_B^2+ϵ}}{x}_i+\gamma \frac{b-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}+\beta )$