使用更小的卷积核是当前在保证网络精度的情况下,减少参数的趋势之一,在VGG16中,使用了 3 3 3个 3 ∗ 3 3*3 3∗3卷积核来代替7*7卷积核,使用了 2 2 2个 3 ∗ 3 3*3 3∗3卷积核来代替 5 ∗ 5 5*5 5∗5卷积核,这样做的主要目的是在保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果。
以下简单地说明一下小卷积( 3 ∗ 3 3*3 3∗3)对于 5 × 5 5×5 5×5网络感知野相同的替代性。
如图所示:
关于
3
3
3个
3
×
3
3×3
3×3卷积核对于一个
7
×
7
7× 7
7×7 卷积的替代性思考方式同上。
接下来说明以下减少参数的作用。
对于两个
3
∗
3
3*3
3∗3卷积核,所用的参数总量为
2
∗
(
3
∗
3
)
∗
c
h
a
n
n
e
l
s
2*(3*3)*channels
2∗(3∗3)∗channels, 对于
5
∗
5
5*5
5∗5卷积核为
5
∗
5
∗
c
h
a
n
n
e
l
s
5*5*channels
5∗5∗channels, 因此可以显著地减少参数的数量。
如果对参数计算这部分不太懂,欢迎阅读我的另一篇博客,我在里面举了一个计算卷积操作参数量的例子。