3*3卷积核 5*5卷积核到底有多大区别

为了比较3*3卷积核 和 5*5卷积核在性能上到底有多大区别设计了两个网络去进行对比，

1.两个3*3的卷积核，2个池化层，2个全连接层

2.两个5*5的卷积核，2个池化层，2个全连接层

两个网络的收敛标准，权重的初始化方式都是一样，学习率都是0.5不变，输入的都是一张28*28的图片，通过改变全连接层的节点数观察效果：

 

 

为了方便秒速将 288*120*80*10的网络称为n1*n2*n3*n4 , n1为288 ，12851表明经过12851次迭代以后收敛

对比明显表明无论两个网络的卷积核是5*5还是3*3，在n3=200时性能都有很大的提升。

所以将n3=200的情况分别做了计算

 

 

 

计算表明3*3的卷积核在参数为400*200*10的时候性能最优，5*5的卷积核在参数200*200*10的时候性能最优

 

但10次计算毕竟还是太少了，分别针对真两个参数每个做了50次运算

 

 

经过50次运算3*3的卷积核在参数400*200*10时平均迭代次数1841次，

5*5的卷积核在参数200*200*10的时候平均迭代次数2001次，性能提升了7.9%。

所以对于28*28的小图片3*3的卷积核的收敛速度更快，性能提升显著。

 

 

*** ***

在2018年12月29日《神经网络收敛标准与准确率之间的数学关系》

得到了对应一个带卷积核，分类0和2的网络。迭代次数n，收敛标准δ，神经网络的准确率p-max之间的一组数学表达式

 

可用于推算对应准确率p-max小于0.995时需要的迭代次数和时间。