从CNN的发展过程看,卷积核(filters)的尺寸有越来越小的趋势,比如vgg网络中全部采用3*3的小卷积核,那么为什么要普遍使用小卷积核而非大卷积核呢?
大尺寸的卷积核可以带来更大的感受野,但也意味着更多的参数,并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 2 个连续的 3×3 卷积层( stride=1)组成的小网络来代替单个的5×5大卷积层,可以保持感受野范围的同时又减少了参数量:
由于参数个数仅与卷积核大小有关,所以 3×3 级联卷积核占优势,并且用 2 个级联的 3×3 卷积层( stride=1)组成的小网络来代替单个的 5×5 卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。
1:两个 3×3 的堆叠卷基层的有限感受野是 5×5 ;三个 3×3 的堆叠卷基层的感受野是 7×7 ,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。
2:多个小尺寸的卷基层比一个大尺寸卷积层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性,并且起到隐式正则化的作用。
3:1×1卷积核除了具有降低参数量和增加非线性的作用外,还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。
如果不理解感受野或者无法理解两个 3×3 的卷积核级联同单个 5×5 的卷积核具有相同的感受野,可以参考下面这边博客:
卷积神经网络中感受野的理解和计算