1、为什么要使用3*3的卷积核?
(1)3x3是最小的能够捕获像素八邻域信息的尺寸。
(2)两个3x3的堆叠卷基层的有限感受野是5x5;三个3x3的堆叠卷基层的感受野是7x7,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。
(3)多个3x3的卷基层比一个大尺寸filter卷基层有更多的非线性(更多层的非线性函数,使用了3个非线性激活函数)。
(4)多个3x3的卷积层比一个大尺寸的filter有更少的参数,如三个3x3的卷积层参数个数3x((3x3xC)xC)=27C2;一个(7x7xC)xC的卷积层参数为49C2。唯一的不足是,在进行反向传播时,中间的卷积层可能会导致占用更多的内存;
第四条详解:假设该卷积层的卷积核为3×3,为了清晰明了假设卷积层的输入和输出的特征图(featuremap)大小(其实是channel通道数)分别为C1,C2。说明:卷积核的应该是一个多维的矩阵K×K×channels,其中channels是由输入的featuremap的通道数决定的,而卷积层中卷积核的个数是由输出的featuremap的通道数决定的,所以该卷积层的参数量是:(3×3×C1)× C2,说明:
(3×3×C1) —— 是每一个卷积核的参数量;
× C2 —— 是总共C2个卷积核;
2、为什么可以使用33的卷积核?
卷积核卷积后输出尺寸:假设图片(Input)尺寸为M×M,卷积核(Filter)大小为K×K,填充(Padding)为P,步长(stride)为s。
则卷积输出(Output)特征图大小为 = (M + 2P - K)/S +1
假设我们假设图片是2828的,
我们使用55的卷积核对其卷积,步长(stride)为1,填充(pad)为0,得到的结果是:(28-5)/1+1=24
然后我们使用2个卷积核为33的,这里的两个是指2层,同样步长(stride)为1,填充(pad)为0
第一层33:
得到的结果是=(28-3 + 02)/1+1=26
第二层33:
得到的结果是=(26-3 +02)/1+1=24
所以我们的最终结果和55的卷积核是一样的!!!
下图更形象一些: