深度学习入门基础CNN系列——填充（padding）与步幅（stride）

填充（padding）

在上图中，输入图片尺寸为$3\times 3$，输出图片尺寸为$2\times 2$，经过一次卷积之后，图片尺寸为$2\times 2$，经过一次卷积之后，图片尺寸变小。卷积输出特征图的尺寸计算方法如下（卷积核的高和宽分别为$k_h和k_w$）:
$$\begin{gathered} H_{out}=H-k_h+1 \\ {W}_{out}=W-k_w+1 \end{gathered}$$
如果输入尺寸为4，卷积核大小为3时，输出尺寸为$4-3+1=2$。读者可以自行检查当输入图片和卷积核为其他尺寸时，上述计算式是否成立。当卷积核尺寸大于1时，输出特征图的尺寸会小于输入图片尺寸。如果经过多次卷积，输出图片尺寸会不断减小。为了避免卷积之后图片尺寸变小，通常会在图片的外围进行填充（padding），如下图所示：

• 如图（a）所示：填充的大小为1，填充值为0。填充之后，输入图片尺寸从$4\times 4$变成了$6\times 6$，使用$3\times 3$的卷积核，输出图片尺寸为$4\times 4$。
• 如图（b）所示：填充的大小为2，填充值为0。填充之后，输入图片尺寸从$4\times 4$变成了$8\times 8$，使用$3\times 3$的卷积核，输出图片尺寸为$6\times 6$。

如果在图片高度方向，在第一行之前填充$p_{h1}$行，在最后一行之后填充$p_{h2}$行；在图片的宽度方向，在第1列之前填充$p_{w1}$列，在最后1列之后填充$p_{w2}$列；则填充之后的图片尺寸为$(H+p_{h1}+p_{h2})\times (W+p_{w1}+p_{w2})$。经过大小为$k_h\times k_w$的卷积核操作之后，输出图片的尺寸为：
$$\begin{gathered} H_{out}=H+p_{h1}+p_{h2}-k_h+1 \\ {W}_{out}=W+p_{w1}+p_{w2}-k_w+1 \end{gathered}$$
在卷积计算过程中，通常会在高度或宽度的两侧采取等量填充，即$p_{h1}=p_{h2}=p_h,p_{w1}=p_{w2}=p_w$,所以上面的公式就变为了：
$$\begin{gathered} H_{out}=H+2p_h-k_h+1 \\ {W}_{out}=W+2p_w-k_w+1 \end{gathered}$$
卷积核大小通常使用1，3，5，7这样的奇数，如果使用的填充大小为$p_h=(k_h-1)/2,p_w=(k_w-1)/2$，则卷积之后图像尺寸不变。
例如当卷积核大小为3时，padding大小为1，卷积之后图像尺寸不变，与图（a）一样；同理，如果卷积核大小为5，padding大小为2，也能保持图像尺寸不变。

步幅（stride）

上图中卷积核每次滑动一个像素点，这是步幅为1的特殊情况，下面两张图是步幅为2的卷积过程，卷积核在图片上移动时，每次移动大小为2个像素点。


以第二张静态图为例子：
当宽和高的步幅分别为$s_h和s_w$时，输出特征图尺寸的计算公式是：
$$\begin{gathered} H_{out}=\frac{H+2p_h-k_h}{s_h}+1 \\ {W}_{out}=\frac{W+2p_w-k_w}{s_w}+1 \end{gathered}$$
假设输入图片尺寸时$H\times W=100\times 100$，卷积核大小为$k_h\times k_w=3\times 3$，填充$p_h=p_w=1$，步幅为$s_h=s_w=2$，则输出特征图的尺寸为：
$$\begin{gathered} H_{out}=\frac{100+2-3}{2}+1=50 \\ {W}_{out}=\frac{100+2-3}{2}+1=50 \end{gathered}$$

总结：

1。卷积输出特征图的尺寸计算方法如下（卷积核的高和宽分别为$k_h和k_w$）: $$\begin{gathered} H_{out}=H-k_h+1 \\ {W}_{out}=W-k_w+1 \end{gathered}$$
2。当宽和高的步幅分别为$s_h和s_w$时，输出特征图尺寸的计算公式是：
$$\begin{gathered} H_{out}=\frac{H+2p_h-k_h}{s_h}+1 \\ {W}_{out}=\frac{W+2p_w-k_w}{s_w}+1 \end{gathered}$$