深度学习常见数学公式解释

卷积和反卷积的介绍

1. 对于卷积，我们一般有如下的参数：

• input size $W_{in}\ast H_{in}$
• kernel size $kernel\ast kernel$
• stride s $stride,stride$
• padding size $pad,pad$
• in channels

对一个卷积操作可以表示为如下的图，实际过程中一般不只是一个通道,

可以看得出padding后实际的长和宽为：
$$\begin{gathered} W_{middle}=W_{in}+2\ast pad \\ {H}_{middle}=H_{in}+2\ast pad \end{gathered}$$
从而可以计算最后的长和宽为:
$$\begin{gathered} W_{out}=\frac{W_{middle}-k}{stride}+1=\frac{W_{in}+2\ast pad-k}{stride}+1 \\ {H}_{out}=\frac{H_{middle}-k}{stride}+1=\frac{H_{in}+2\ast pad-k}{stride}+1 \end{gathered}$$

2. 对于反卷积

对上图的公式做变换可知：
$$\begin{gathered} W_{in}=(W_{out}-1)\ast stride+k-2\ast pad \\ {H}_{in}=(H_{out}-1)\ast stride+k-2\ast pad \end{gathered}$$

反卷积可以说是对卷积做一个逆变换了，那么其参数和卷积类似，但是前后每个通道的变换如下:
$$\begin{gathered} W_{out}=(W_{in}-1)\ast stride+k-2\ast pad \\ {H}_{out}=(H_{in}-1)\ast stride+k-2\ast pad \end{gathered}$$

EMA(Exponential move average)指数滑动平均

 这是一种给与近期数据权重更高的平均方法
$$\begin{gathered} EMA:v_t=\alpha \ast v_{t-1}+(1-\alpha )\ast {\theta }_t \\ 其中v_t表示前t条的平均值，v_0=0,\alpha 是加权权重值，一般设定为0.90.999 \end{gathered}$$
 一般的普通的过去n时刻的平均是:$v_t=\frac{(n-1)\ast v_{t-1}+{\theta }_t}{n}$,如果把$\alpha$设定为$\frac{n-1}{n}$,那么可以看得出来两者形式上是等同的。

 下面我们看一下EMA究竟做了什么东西:
$$\begin{gathered} 令n时刻的模型权重为v_n,梯度为g_n,参数为{\theta }_n,那么可以得到:公式➀ \\ \begin{array}{rl}{\theta }_n& ={\theta }_{n-1}-g_{n-1}\\ & ={\theta }_{n-2}-g_{n-2}-g_{n-2}\\ & ={\theta }_{n-3}-g_{n-3}-g_{n-2}-g_{n-1}\\ & ={\theta }_1-\sum _{i=1}^{n-1}{g}_i\end{array} \\ n时刻的EMA的影子权重为v_n,可以得到：公式➁ \\ \begin{array}{rl}{v}_n& =\alpha v_{n-1}+(1-\alpha ){\theta }_n\\ & =\alpha (\alpha v_{n-2}+(1-a){\theta }_{n-1})+(1-\alpha ){\theta }_n\\ & ={\alpha }^n{v}_0+(1-a)({\theta }_n+\alpha {\theta }_{n-1}+{\alpha }^2{\theta }_{n-2}+\cdots +{\alpha }^{n-1}{\theta }_1)\end{array} \\ 接着我们讲公式1带入公式2，可以得到如下: \\ \begin{array}{rlr}{v}_n& =& {\alpha }^n{v}_0+(1-a)({\theta }_1-\sum _{i=1}^{n-1}+\alpha ({\theta }_1-\sum _{i=1}^{n-2}{g}_i)+...+{\alpha }^{n-2}(\theta -\sum _{i=1}^1+{\alpha }^{n-1}{\theta }_1)\\ & =& {\theta }_1-\sum _{i=1}^{n-1}(1-{\alpha }^{n-i})\end{array}可以看到如下的两个式的对比： \\ \{\begin{array}{ll}{\theta }_n={\theta }_1-{\sum }_{i=1}^{n-1}{g}_i& 结论1\\ v_n={\theta }_1-{\sum }_{i=1}^{n-1}(1-{\alpha }^{n-i})g_i& 结论2\\ 由上面的两个式子可以很明显的看出来EMA在第i步的下降的补偿增加了权重系数& \\ 相当于做了一个learningratedacay，从而能够更好的控制达到全局收敛& \end{array} \end{gathered}$$