用两个3*3卷积核可以代替一个5 * 5卷积核
用三个3*3卷积核可以代替一个7 * 7卷积核
下图,原始图像为9 * 9,经过不同大小的卷积操作后的结果。
对于3个3 * 3卷积后的感受野和一个7 * 7卷积核卷积的感受野是相同的,我们下面做一个比较,3个3 * 3卷积的参数要小于一个7 * 7,这样可以防止过拟合的情况,同时多层的relu激活,增加了卷积过程中的非线性,增加了网络的表达能力。
输入为H * W * C,我们使用M个卷积核,步长为1。参数的个数为:
- 7 * 7filter: M *(7 * 7 * C)= 49M * C
- 3个3 * 3filter: 3 * M * (3 * 3 * C) = 27M * C