1*1卷积核的作用

减少计算量
跨通道信息整合
增加非线性判别能力
假设有1个高为30、宽为40,深度为200的三维张量与55个高为5、宽为5、深度为200的卷积核same卷积,步长=1,则结果是高为30、宽为40、深度为55的三维张量,如图所示:
在这里插入图片描述
该卷积过程的乘法计算量大约为552003040*55=330000000,这个计算量很大。

接着,我们可以考虑第二种卷积过程,先利用1*1的卷积核在深度上降维,然后升维:
在这里插入图片描述
上述卷积过程的计算量大约为:

第一步:112003040*20=4800000

第二步:55203040*55=33000000

总的乘法计算量大约为:37800000

显然,得到同样的最终的结果,采用第二种方式,即首先在深度方向上降维,第二种的计算量是第一种的37800000/330000000=0.11。

第二步中的中间层也可以叫做瓶颈层,因为他是整个网络中最小的,你可能会问:你这样大幅地缩小模型的规模会不会影响到网络的性能?事实证明只要合理构建瓶颈层,你既可以显著缩小瓶颈层规模,又不会降低网络性能,从而大量减少了计算。

另外,因为又引入了一层结构,激活函数可以引入额外的非线性能力.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值