rethinking the inception architecture for computer vision

Google在GoogleNet中提出了inception概念之后,又提出了inception_2,inception_3,都在这篇论文中谈及。

文章地址为http://arxiv.org/pdf/1512.00567v3.pdf

四个通用的设计原则(General Design Principles):

1. Avoid representational bottlenecks,especially early in the network。

2.Higher dimensional representations are easier to process locally within a network。

3. Spatial aggregation can be done over lower dimensional embeddings without much or any loss in representational power。

4.Balance the width and depth of the network 。


Factorizing Convolutions with Large Filter Szie(对大尺寸的过滤器进行分解)这样可以减少参数个数和计算量,训练速度更快。

1.Factorization into smaller convolutions

5*5的卷积是3*3的卷积的25/9=2.78倍的时间开销。

将原本5*5的卷积用一个多层网络(两层的3*3的卷积)来替代,参数更少,同样的输入


2.Spatial  factorization into asymmetric convolutions

将一个3*3的卷积用两层网络来替代,3*1加1*3的两层架构,计算量减小33%,如果用两层2*2卷积来替代,计算量减小11%。

所以,后面就用1*n和n*1来替代n*n的卷积,实验中发现,这种分解方法在网络的前面几层效果不好,但在中间时效果非常好(如果是m*m的特征图谱,m的范围在12到20之间),在这里是在7*7的卷积上用1*7加7*1替代效果最好。




Utility of Auxiliary Classifiers(辅助分类器的利用)

这个在v1版本里就有用到,在inception_4a/output和inception_4e/output后池化卷积全连接后做loss和top_1,top_5的计算。


Efficient Grid Size Reduction



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值