Googlenet-V3
论文题目:Rethinking the Inception Architecture for Computer Vision(重新思考计算机视觉中的 Inception 结构)
作者:Christian Szegedy etc.
单位: Google Inc.
时间: 2015
研究背景
1、基于ILSVRC比赛提出
2、相关研究:Goolgnet-v1、Goolgnet-v2、VGG
Goolgnet-v1:采用多尺度卷积核,1x1卷积操作,辅助损失函数,实现更深的22层卷积神经网络,夺得ILSVRC-2014 分类和检测冠军,定位亚军
Goolgnet-v1:在v1基础上加入BN层,并将并将55卷积全面替换为2个33卷积堆叠的形式,进一步提高模型性能
VGG网络模型大,参数多,计算量大,不适用于真实场景
研究成果
1、提出Inception-V2 和 Inception-V3, Inception-V3模型获得 ILSVRC 分类任务 SOTA
2、提出4个网络模型设计准则,为模型设计提供参考
3、提出卷积分解、高效降低特征图分辨率方法和标签平滑技巧,提升网络速度与精度
研究意义
1、总结模型设计准则,为卷积神经网络模型设计提供参考
2、提出3个技巧,结合Inception,奠定Inception系列最常用模型——Inception-V3
**补充说明:**GoogLeNet-V2(论文) 不是 Inception-V2, Inception-V2是GoogLeNet-V3(论文)中提出的
摘要
摘要核心:
1、 介绍背景:自2014年以来,深度卷积神经网络成为主流,在多个任务中获得优异成绩
2.、提出问题:目前精度高的卷积神经网络,参数多,计算量大,存在落地困难问题
3.、解决问题:本文提出分解卷积及正则化策略,提升深度卷积神经网络速度和精度
4.、本文成果:单模型+single crop,top-5, 5.6%; 模型融合+multi-crop,top-5,3.5%
网络设计准则
4个网络结构设计准则
通过大量实验得出的结论,并无理论证明
1、尽量避免信息瓶颈,通常发生在池化层,即特征图变小,信息量减少,类似一个瓶颈
2、采用更高维的表示方法能够更容易的处理网络的局部信息
3、大的卷积核可以分解为数个小卷积核,且不会降低网络能力
4