均值方差估计

均值方差估计

输入为x，是一个（B，Cin）的矩阵。权重是w，是一个（Cin，Cout，w，h）的矩阵。本篇文章是估计z = x*w的分布。当估计出z的均值方差后，就可以利用量化点偏移技术，省略BN层。
假设模型为：

输入x为relu的输出，假设x中每一个随机变量 X 符合N(0,1)的半波高斯分布；权重w中的每一个随机变量 W 符合N（${\mu }_w$,${\sigma }_w^2$）的全波高斯分布。另外假设x，w中的随机变量相互独立同分布，那么$$z=x\ast w=X_1{W}_1+X_2{W}_2+....X_{C_{in}}{W}_{C_{in}}=C_{in}XW$$的均值可以用下面公式计算：
$$E(z)=C_{in}\ast \frac{1}{\sqrt{2\pi }}{\int }_0^{\infty }x{e}^{-\frac{x^2}{2}}dx\ast \frac{1}{\sqrt{2\pi }{\sigma }_w}{\int }_{-\infty }^{\infty }w{e}^{\frac{-(w-{\mu }_w{)}^2}{2{\sigma }_w^2}}dw$$
第一项积分为A，第二项积分为B
$$A=\frac{1}{2\sqrt{2\pi }}{\int }_0^{\infty }{e}^{-\frac{x^2}{2}}d{x}^2$$
$$=\frac{1}{2\sqrt{2\pi }}{\int }_0^{\infty }{e}^{-\frac{x}{2}}dx$$

$$=\sqrt{\frac{1}{2\pi }}$$

第二项积分：
$$B=\frac{{\sigma }_w^2}{\sqrt{2\pi }\ast {\sigma }_w}[{\int }_{-\infty }^{\infty }(\frac{w-u_w}{{\sigma }_w})e^{\frac{-(w-{\mu }_w{)}^2}{2\pi {\sigma }_w^2}}d\frac{w-u_w}{{\sigma }_w}+{\int }_{-\infty }^{\infty }\genfrac{}{}{0ex}{}{}{{\sigma }_w}$$