每日一问03——使用2个3x3卷积核代替5x5卷积核的目的是什么

每日一问03

Question：使用2个3x3卷积核代替5x5卷积核的目的是什么？

---

使用2个3x3卷积核代替5x5卷积核的目的可以从多方面来考虑。

1.感受野

2个3x3卷积核与1个5x5卷积核具有相同的感受野

请看下图：

如上图所示，对于一个5x5的像素，如果使用一个5x5核进行一次卷积，那么最后会得到一个像素，如果使用3x3卷积核进行两次卷积最后也会得到一个像素，这就说明2个3x3卷积核与1个5x5卷积核具有相同的感受野，所以将2个3x3卷积核替换1个5x5卷积核并不会改变感受野。

同时我们通过计算也可以得到相同结论：

卷积核卷积后输出尺寸的计算公式：

其中：输入图片尺寸为N×N，输出图片尺寸为n×n，卷积核（Filter）大小为K×K，填充（Padding）为P，步长（stride）为s。

假设我们假设图片是32×32的
我们使用5*5的卷积核对其卷积，步长（stride）为1，填充(pad)为0，得到的结果是：

如果我们使用2个卷积核为3*3的，这里的两个是指2层，同样步长（stride）为1，填充(pad)为0
第一层卷积后的尺寸：

第二层卷积后的尺寸：

2.参数计算量

卷积层的参数计算量：

假设卷积层结果如图所示：

那么可以计算5×5的卷积层参数计算量为：

2个3×3卷积层的参数计算量为：

所以通过上面计算结果对比可知，使用2个3×3卷积核的参数计算量远小于5×5卷积核的参数计算量。

3.非线性表达能力

多个3×3卷积核比一个较大尺寸的卷积核有更多层的非线性函数，从而能够增加非线性表达能力，使判决函数更具有判决性。