CNN中为什么普遍使用小卷积核

从CNN的发展过程看,卷积核(filters)的尺寸有越来越小的趋势,比如vgg网络中全部采用3*3的小卷积核,那么为什么要普遍使用小卷积核而非大卷积核呢?

大尺寸的卷积核可以带来更大的感受野,但也意味着更多的参数,并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 2 个连续的 3×3 卷积层( stride=1)组成的小网络来代替单个的5×5大卷积层,可以保持感受野范围的同时又减少了参数量:
在这里插入图片描述
由于参数个数仅与卷积核大小有关,所以 3×3 级联卷积核占优势,并且用 2 个级联的 3×3 卷积层( stride=1)组成的小网络来代替单个的 5×5 卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。

1:两个 3×3 的堆叠卷基层的有限感受野是 5×5 ;三个 3×3 的堆叠卷基层的感受野是 7×7 ,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。

2:多个小尺寸的卷基层比一个大尺寸卷积层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性,并且起到隐式正则化的作用。

3:1×1卷积核除了具有降低参数量和增加非线性的作用外,还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。

如果不理解感受野或者无法理解两个 3×3 的卷积核级联同单个 5×5 的卷积核具有相同的感受野,可以参考下面这边博客:
卷积神经网络中感受野的理解和计算

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值